README.md 5.93 KB
Newer Older
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
1
# Prise en main de iRODS
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
2

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
3
contact@prabi.fr
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
4

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
5 6
## Remerciements

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
7 8 9
```
If you use the computing resources of LBBE / PRABI, thank you to make it
appear in your scientific publications by including the following sentence:
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
10
"This work was performed using the computing facilities of the CC LBBE/PRABI."
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
11
```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
12

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
13 14
## Prérequis:

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
15
* Lecture de la Charte des utilisateurs du CC LBBE/PRABI-amsb (http://amsb.prabi.fr/charte_utilisateur_cluster_04022019.pdf)
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
16 17 18 19 20
* Formation aux bonnes pratiques d'utilisationn des ressources mutualisées (cluster, cloud, iRODS)
* Un compte sur l'infrastructure mutualisée LBBE/PRABI-AMSB (contact: contact@prabi.fr pour les utilisateurs hors LBBE)
* Un compte sur le CCin2p3 (contact: Simon Penel (LBBE, Tristan Lefebure (LEHNA)))
* des bases en lignes de commandes UNIX (ssh, mkdir, cd, touch)

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
21 22
# iRODS

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
23 24
iRODS (integrated Rule-Oriented Data System) est un système de virtualisation du stockage. Ce système permet un accès transparent aux données réparties sur différents sites et sur des supports hétérogènes (systèmes de fichiers sur disque, bases de données, systèmes de bandes, etc.).

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
25
Les utilisateurs de l'infrastructure mutualisée LBBE/PRABI-amsb ont la possibilité de stocker leurs données sur le système iRODS administré par le PI du LBBE et/ou sur celui administré par le CC-IN2P3.
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
26

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
27 28
# iCommand

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
29 30
L'accès au serveur iRODS se fait généralement à travers l'utilisation des `iCommand`. On retrouve les commandes de base Linux (cd, chmod, ls, pwd) préfixées par la lettre 'i'.

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
|iCommand|Description|
|:------:|:-------------------------------------------------------------------------:|
|icd    |Change le répertoire de travail|
|ichmod |Donne accès/accorde des autorisations à un autre utilisateur|
|iexit  |Se déconnecte de iRODS|
|iget   |Télécharge le fichier / répertoire de iRODS sur la machine locale|
|iinit  |Initialise et démarre la connexion à iRODS|
|ils    |Liste le contenu du répertoire de travail en cours|
|imeta  |Gère les métadonnées définies par l’utilisateur|
|imkdir |Crée un nouveau répertoire|
|iput   |Télécharge le fichier / répertoire de la machine locale vers iRODS|
|ipwd   |Affiche le nom et le chemin du dossier distant actuel|
|irm    |Déplace un fichier dans la corbeille|
|irsync |Synchroniser un dossier d’un répertoire local avec un répertoire dans iRODS|

# easicmd (by Gautier Debaecker, LEHNA)

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
48
Ce client est un wrapper des `iCommand` de base avec notemment la gestion de l'autocomplétion et l'automatisation de l'ajout de metadata en batch. https://github.com/sigau/easy_irods_commands
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
49 50


NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
51
# iRODS du CC LBBE/PRABI-AMSB
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
52

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
53
Un service iRODS est proposé par le CC mutualisé LBBE/PRABI-amsb pour un stockage dit "froid" et à moyen terme des données en complément du système de stockage "tiède" sous `/beegfs/data`. Les données sous `/beefs/data/<user_account>` n'étant pas sauveguardées (voir <a href="https://gitlab.in2p3.fr/vincent.navratil/training-prabi/-/blob/master/handson-slurm/README.md" target="_blank">atelier slurm</a>), l'utilisation du système iRODS est indispensable pour assurer la pérénité à court terme de vos données par exemple lors d'un projet de calcul sur le cluster et avant/en complément de l'archivage de données sous les archives publiques (ENA, SRA). 
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
54 55 56

La capacité de stockage sous les système iRODS du CC LBBE/PARBI-AMSB est actuellement de **360 To.**

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
57 58
Le service iRODS est accessible depuis le serveur `pbil-deb`, le client étant déjà installé il vous suffit de créer un répertoire `~/.irods/` dans votre home et de lancer la _**iCommand**_ `iinit` dans votre terminal. Pour accéder à `pbil-deb`, il vous faudra soit vous connecter en VPN sur le réseau UCBL (http://cisr.fr/?vpn.html) soit passer par la passerelle `pbil-gates` (accessible depuis le réseau publique).

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
59
### Etape 1: Connection à la passerelle `pbil-gates` - `pbil-deb` :
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
60 61

```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
62 63 64 65 66 67 68
#depuis le terminal de votre poste de travail
ssh login@pbil-gates.univ-lyon1.fr
echo $HOSTNAME

#depuis la passerelle pbil-gates 
ssh login@pbil-deb.univ-lyon1.fr
echo $HOSTNAME
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
69 70

```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
71

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
72 73 74
| Astuce
| La commande `echo $HOSTNAME` permet de savoir sur quelle machine physique on se trouve/

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
75
### Etape 2: Initialisation de son compte i-RODS
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
76

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
77 78 79
```
iinit
Enter your current PAM password:
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
80 81 82 83 84 85

ils
#tester la copie d'un fichier sous iRODS
iput /etc/irods/irods_environment.json
ils

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
86
```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
87 88 89

Vous aurez besoin d'un certain nombre d'informations concernant le serveur iRODS:

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
90
```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
91 92
irods_host =lbbe-irods-local
irods_port = 1247
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
93
irods_zone_name= lbbeZone
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
94 95 96 97
```

Un fichier de configuration `irods_environment.json` dans le répertoire `~/.irods/` sera crée que vous pourez aisément éditer manuellement si besoin.

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
98
### Solution bis
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
99 100 101 102 103 104 105 106 107

```
#crée le répertoire de configuration irods
mkdir ~/.irods
#copie du fichier template de configuration de l'environnement irods au format json
cp /etc/irods/irods_environment.json ~/.irods/
#initialisation de son compte iRODS
iinit
Enter your current PAM password:
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
108

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
109 110 111 112 113 114
ils
#tester la copie d'un fichier sous iRODS
iput /etc/irods/irods_environment.json
ils

```
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
115

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
116 117

# iRODS du ccin2p3
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
118
Vous avez également accès au système iRODS du CCIN2P3.
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
119 120 121 122

La procédure (création de compte, configuration) est décrite sur le site du ccin2p3:
https://doc.cc.in2p3.fr/fr/Data-storage/distributed-storage/irods.html

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
123 124 125
Si vous souhaitez créer un compte contacter les Cezars/correspondant des laboratoires:
cezar pour le LBBE et de la FR BioEEnvis (Simon Penel)
cezar pour le LEHNA (Tristan Lefebure) 
NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
126

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
127 128
Si vous souhaitez faire un transfert depuis votre ordinateur, il vous faudra installer un client iRODS (Icommand ou autre). Suivre les très bonnes indications fournies par le ccin2p3 (https://doc.cc.in2p3.fr/fr/Data-storage/distributed-storage/irods.html#client-irods).

NAVRATIL VINCENT's avatar
NAVRATIL VINCENT committed
129 130 131 132 133 134 135
## Références
https://irods.org/

https://www.projet-plume.org/fiche/iRODS

https://forge.in2p3.fr/projects/france-grilles-documentation/wiki/Description_du_logiciel_iRODS
https://forge.in2p3.fr/projects/france-grilles-documentation/wiki/Mise_en_place_de_son_environnement_de_travail_iRODS