README.md 5.78 KB
Newer Older
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
1
# Prise en main de iRODS
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
2

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
3
contact@prabi.fr
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
4

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
5 6
## Remerciements

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
7 8 9
```
If you use the computing resources of LBBE / PRABI, thank you to make it
appear in your scientific publications by including the following sentence:
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
10
"This work was performed using the computing facilities of the CC LBBE/PRABI."
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
11
```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
12

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
13 14
## Prérequis:

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
15
* Lecture de la Charte des utilisateurs du CC LBBE/PRABI-amsb (http://amsb.prabi.fr/charte_utilisateur_cluster_04022019.pdf)
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
16 17 18 19 20
* Formation aux bonnes pratiques d'utilisationn des ressources mutualisées (cluster, cloud, iRODS)
* Un compte sur l'infrastructure mutualisée LBBE/PRABI-AMSB (contact: contact@prabi.fr pour les utilisateurs hors LBBE)
* Un compte sur le CCin2p3 (contact: Simon Penel (LBBE, Tristan Lefebure (LEHNA)))
* des bases en lignes de commandes UNIX (ssh, mkdir, cd, touch)

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
21 22
# iRODS

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
23 24
iRODS (integrated Rule-Oriented Data System) est un système de virtualisation du stockage. Ce système permet un accès transparent aux données réparties sur différents sites et sur des supports hétérogènes (systèmes de fichiers sur disque, bases de données, systèmes de bandes, etc.).

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
25
Les utilisateurs de l'infrastructure mutualisée LBBE/PRABI-amsb ont la possibilité de stocker leurs données sur le système iRODS administré par le PI du LBBE et/ou sur celui administré par le CC-IN2P3.
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
26

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
27 28
# iCommand

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
29 30
L'accès au serveur iRODS se fait généralement à travers l'utilisation des `iCommand`. On retrouve les commandes de base Linux (cd, chmod, ls, pwd) préfixées par la lettre 'i'.

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
|iCommand|Description|
|:------:|:-------------------------------------------------------------------------:|
|icd    |Change le répertoire de travail|
|ichmod |Donne accès/accorde des autorisations à un autre utilisateur|
|iexit  |Se déconnecte de iRODS|
|iget   |Télécharge le fichier / répertoire de iRODS sur la machine locale|
|iinit  |Initialise et démarre la connexion à iRODS|
|ils    |Liste le contenu du répertoire de travail en cours|
|imeta  |Gère les métadonnées définies par l’utilisateur|
|imkdir |Crée un nouveau répertoire|
|iput   |Télécharge le fichier / répertoire de la machine locale vers iRODS|
|ipwd   |Affiche le nom et le chemin du dossier distant actuel|
|irm    |Déplace un fichier dans la corbeille|
|irsync |Synchroniser un dossier d’un répertoire local avec un répertoire dans iRODS|

# easicmd (by Gautier Debaecker, LEHNA)

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
48
Ce client est un wrapper des `iCommand` de base avec notemment la gestion de l'autocomplétion et l'automatisation de l'ajout de metadata en batch. https://github.com/sigau/easy_irods_commands
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
49 50


NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
51
# iRODS du CC LBBE/PRABI-AMSB
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
52

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
53
Un service iRODS est proposé par le CC mutualisé LBBE/PRABI-amsb pour un stockage dit "froid" et à moyen terme des données en complément du système de stockage "tiède" sous `/beegfs/data`. Les données sous `/beefs/data/<user_account>` n'étant pas sauveguardées (voir <a href="https://gitlab.in2p3.fr/vincent.navratil/training-prabi/-/blob/master/handson-slurm/README.md" target="_blank">atelier slurm</a>), l'utilisation du système iRODS est indispensable pour assurer la pérénité à court terme de vos données par exemple lors d'un projet de calcul sur le cluster et avant/en complément de l'archivage de données sous les archives publiques (ENA, SRA). 
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
54 55 56

La capacité de stockage sous les système iRODS du CC LBBE/PARBI-AMSB est actuellement de **360 To.**

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
57 58 59 60 61 62 63 64 65
Le service iRODS est accessible depuis le serveur `pbil-deb`, le client étant déjà installé il vous suffit de créer un répertoire `~/.irods/` dans votre home et de lancer la _**iCommand**_ `iinit` dans votre terminal. Pour accéder à `pbil-deb`, il vous faudra soit vous connecter en VPN sur le réseau UCBL (http://cisr.fr/?vpn.html) soit passer par la passerelle `pbil-gates` (accessible depuis le réseau publique).

## Etape 1: Connection à la passerelle `pbil-gates` - `pbil-deb` :

```
#localhost ssh login@pbil-gates.univ-lyon1.fr
#pbil-gates ssh login@pbil-deb.univ-lyon1.fr

```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
66

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
67
### Etape 2: Initialisation de son compte i-RODS
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
68

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
69 70 71
```
iinit
Enter your current PAM password:
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
72 73 74 75 76 77

ils
#tester la copie d'un fichier sous iRODS
iput /etc/irods/irods_environment.json
ils

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
78
```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
79 80 81

Vous aurez besoin d'un certain nombre d'informations concernant le serveur iRODS:

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
82
```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
83 84
irods_host =lbbe-irods-local
irods_port = 1247
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
85
irods_zone_name= lbbeZone
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
86 87 88 89 90 91 92 93 94 95 96 97 98 99
```

Un fichier de configuration `irods_environment.json` dans le répertoire `~/.irods/` sera crée que vous pourez aisément éditer manuellement si besoin.

### Etape 2-bis: Initialisation de son compte i-RODS

```
#crée le répertoire de configuration irods
mkdir ~/.irods
#copie du fichier template de configuration de l'environnement irods au format json
cp /etc/irods/irods_environment.json ~/.irods/
#initialisation de son compte iRODS
iinit
Enter your current PAM password:
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
100

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
101 102 103 104 105 106
ils
#tester la copie d'un fichier sous iRODS
iput /etc/irods/irods_environment.json
ils

```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
107

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
108 109

# iRODS du ccin2p3
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
110
Vous avez également accès au système iRODS du CCIN2P3.
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
111 112 113 114

La procédure (création de compte, configuration) est décrite sur le site du ccin2p3:
https://doc.cc.in2p3.fr/fr/Data-storage/distributed-storage/irods.html

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
115 116 117
Si vous souhaitez créer un compte contacter les Cezars/correspondant des laboratoires:
cezar pour le LBBE et de la FR BioEEnvis (Simon Penel)
cezar pour le LEHNA (Tristan Lefebure) 
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
118

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
119 120
Si vous souhaitez faire un transfert depuis votre ordinateur, il vous faudra installer un client iRODS (Icommand ou autre). Suivre les très bonnes indications fournies par le ccin2p3 (https://doc.cc.in2p3.fr/fr/Data-storage/distributed-storage/irods.html#client-irods).

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
121 122 123 124 125 126 127
## Références
https://irods.org/

https://www.projet-plume.org/fiche/iRODS

https://forge.in2p3.fr/projects/france-grilles-documentation/wiki/Description_du_logiciel_iRODS
https://forge.in2p3.fr/projects/france-grilles-documentation/wiki/Mise_en_place_de_son_environnement_de_travail_iRODS