|
|
|
# Réunion CSAN
|
|
|
|
|
|
|
|
15 mars 2021
|
|
|
|
|
|
|
|
## Présents
|
|
|
|
|
|
|
|
ADG
|
|
|
|
MS
|
|
|
|
Tovo
|
|
|
|
JF Rey
|
|
|
|
Jacques Lagnel
|
|
|
|
Ludovic courtés
|
|
|
|
Yanis
|
|
|
|
Davide
|
|
|
|
Remy Dernat
|
|
|
|
Richard
|
|
|
|
Francois IFD
|
|
|
|
|
|
|
|
## ODJ
|
|
|
|
|
|
|
|
\- actuel
|
|
|
|
|
|
|
|
\- à venir
|
|
|
|
|
|
|
|
\- brainstorming
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**CSAN, c'est quoi ?**
|
|
|
|
|
|
|
|
- Marketplace pour mettre à disposition des codes optimisés, avec des bonnes pratiques pour les PF (calcul, labo, ... et même user)
|
|
|
|
|
|
|
|
- Projet en lien avec Computops (IN2P3)
|
|
|
|
|
|
|
|
- POC avec Harbor (CNCF)
|
|
|
|
|
|
|
|
- repo docker et singularity
|
|
|
|
|
|
|
|
- envie d'aller vers de la validation par des tiers reconnus (PF, mesocentre, ...)
|
|
|
|
|
|
|
|
- intégration de GUIX ? Easybuild ?
|
|
|
|
|
|
|
|
- des ressources matérielles :
|
|
|
|
|
|
|
|
- meso@LR : 200To durant 5 ans (participation financière de computops
|
|
|
|
|
|
|
|
- stagiaire
|
|
|
|
|
|
|
|
- 3 mois de presta INRAE, et plus si ça marche
|
|
|
|
|
|
|
|
- aller vers une fédaration ?
|
|
|
|
|
|
|
|
- notion de validation des conteneurs via un workflow de build, ... puis validation par les users
|
|
|
|
|
|
|
|
- objectif REPRODUCTIBILITE !!!! (résilience vis à vis des versions d'installateurs et donc aussi des systèmes de conteneurs)
|
|
|
|
|
|
|
|
- problème de communication, cf annonce de la maling liste : https://groupes.renater.fr/sympa/info/csan
|
|
|
|
|
|
|
|
- **Commentaires bien venus, il faut améliorer ce texte !!!!**
|
|
|
|
|
|
|
|
- proposition d'y aller pas à pas (MVP) :
|
|
|
|
|
|
|
|
- \#1 proposer des conteneurss déjà buildés, les vérifier et les "certifier"
|
|
|
|
|
|
|
|
- \#2 automatiser le build
|
|
|
|
|
|
|
|
- \#3
|
|
|
|
|
|
|
|
- possibilité d'avancer en parallèle sur ces MVP
|
|
|
|
|
|
|
|
Remarques, idées:
|
|
|
|
|
|
|
|
\- lien à bioconteneur ? voir avec Olivier Salou de GenOuest
|
|
|
|
|
|
|
|
\- automatiser la validation chez les users (PF) pour validation
|
|
|
|
|
|
|
|
\- expérience à l'IFB de trigger après build de docker pour tests (via CI-CD gitlab)
|
|
|
|
|
|
|
|
\- builder pour les différentes version de singularity, builder pour les différentes versions de MPI, ...
|
|
|
|
|
|
|
|
\- [https://ngc.nvidia.com](https://ngc.nvidia.com/)
|
|
|
|
|
|
|
|
\- https://depot.galaxyproject.org/singularity/
|
|
|
|
|
|
|
|
\- en lien avec PCSC comme PF d'acceuil de projets en services au calcul/stockage/cloud ?
|
|
|
|
|
|
|
|
\- guix : service de création de conteneur (même projet à l'ISEM sur un périmmètre différent) avec l'intérêt de maintenir la reproductibilité via le système GUIX => donne exactement le même binaire.
|
|
|
|
|
|
|
|
\- software heritage : tous les softs sous GUIX sont archivés (pas à 100% de couverture) -> https://guix.gnu.org/fr/blog/2019/connecting-reproducible-deployment-to-a-long-term-source-code-archive/
|
|
|
|
|
|
|
|
\- projet Wicopa à l'ISEM : https://web.mbb.univ-montp2.fr/wicopa/ , idem en conda dans biocontainers https://biocontainers.pro/#/multipackage , expliqué ici https://github.com/BioContainers/multi-package-containers
|
|
|
|
|
|
|
|
\- code : https://gitlab.mbb.univ-montp2.fr/jlopez/wicopa
|
|
|
|
|
|
|
|
\- se mettre en lien avec le réseau des mesocentres
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**TODO :**
|
|
|
|
|
|
|
|
- quelles metada pour un CSAN : transparance, validation dans un premier temps
|
|
|
|
|
|
|
|
- améliorer le POC pour des premiers tests en prod ?
|
|
|
|
|
|
|
|
- veille sur les projets ressemblant ou connexes
|
|
|
|
|
|
|
|
- discuter avec Software Heritage ? Avec Ludo Courtès ???
|
|
|
|
|
|
|
|
- brancher le POC sur le stockage meso@LR
|
|
|
|
|
|
|
|
**Qui a envie de participer ?** https://groupes.renater.fr/sympa/info/csan
|
|
|
|
|
|
|
|
- françois IFB, test et dev Harbor ?
|
|
|
|
|
|
|
|
- Davide Rovelli : test, dev côté Harbor, images IA (tensorflow etc) davide.rovelli@ec-nantes.fr
|
|
|
|
|
|
|
|
- Yannis Govinda voit avec Jérôme Pansanel sur ce qui est prioritaire
|
|
|
|
|
|
|
|
- JF Rey possiblie pour les metadonnées (via projet GAEV https://prosodie.cati.inrae.fr/gaev/).
|
|
|
|
|
|
|
|
- Richard pour travailler cote container avec le cloud IFB @Francois, aujourd'hui j'utilise un des noeuds cloud iFB ici à Nantes BIRD pour déployer des containers avec GPUs
|
|
|
|
|
|
|
|
- ... rajouter vos noms
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
TCHAT :
|
|
|
|
|
|
|
|
Ma
|
|
|
|
|
|
|
|
Martin Souchal
|
|
|
|
|
|
|
|
11:12
|
|
|
|
|
|
|
|
https://apccsan.in2p3.fr/
|
|
|
|
|
|
|
|
Ja
|
|
|
|
|
|
|
|
*Jacques Lagnel(déconnecté)*
|
|
|
|
|
|
|
|
11:14
|
|
|
|
|
|
|
|
il existe le projet: Projet Biocontainers + Bioconda
|
|
|
|
|
|
|
|
Pour chaque paquet Conda
|
|
|
|
|
|
|
|
Ja
|
|
|
|
|
|
|
|
*Jacques Lagnel(déconnecté)*
|
|
|
|
|
|
|
|
11:15
|
|
|
|
|
|
|
|
https://depot.galaxyproject.org/singularity/
|
|
|
|
|
|
|
|
Ré
|
|
|
|
|
|
|
|
Rémy Dernat
|
|
|
|
|
|
|
|
11:15
|
|
|
|
|
|
|
|
"Core service is not available."
|
|
|
|
|
|
|
|
Ré
|
|
|
|
|
|
|
|
Rémy Dernat
|
|
|
|
|
|
|
|
11:15
|
|
|
|
|
|
|
|
quand j'essaie de me connecter sur csan
|
|
|
|
|
|
|
|
Ma
|
|
|
|
|
|
|
|
Martin Souchal
|
|
|
|
|
|
|
|
11:17
|
|
|
|
|
|
|
|
oui c'est cassé :/
|
|
|
|
|
|
|
|
To
|
|
|
|
|
|
|
|
Tovo Rabemanantsoa
|
|
|
|
|
|
|
|
11:18
|
|
|
|
|
|
|
|
je peux pas subscriber
|
|
|
|
|
|
|
|
Lu
|
|
|
|
|
|
|
|
Ludovic Courtès
|
|
|
|
|
|
|
|
11:18
|
|
|
|
|
|
|
|
il faut quoi comme compte pour apccsan.in2p3.fr ?
|
|
|
|
|
|
|
|
Ri
|
|
|
|
|
|
|
|
Richard Randriatoamanana
|
|
|
|
|
|
|
|
11:25
|
|
|
|
|
|
|
|
un peu comme ce que fait ngc chez nvidia comme catalogue de services (containers, recettes k8s, etc.) [https://ngc.nvidia.com](https://ngc.nvidia.com/)
|
|
|
|
|
|
|
|
Da
|
|
|
|
|
|
|
|
Davide Rovelli
|
|
|
|
|
|
|
|
11:37
|
|
|
|
|
|
|
|
dans le meso de ECNantes on pourrait aussi béneficier largement de ce projet. Pour l'instant, on n'a pas un facon the stocker et partager de conteneurs donc il serait très bien de beneficier de l'espace et encore mieux de contribuer à la communauté!
|
|
|
|
|
|
|
|
Ja
|
|
|
|
|
|
|
|
*Jacques Lagnel(déconnecté)*
|
|
|
|
|
|
|
|
11:42
|
|
|
|
|
|
|
|
Je suis obligé de vous laisser. A très bientot
|
|
|
|
|
|
|
|
Ré
|
|
|
|
|
|
|
|
Rémy Dernat
|
|
|
|
|
|
|
|
11:42
|
|
|
|
|
|
|
|
ust4hpc peut faire passerelle par contact direct
|
|
|
|
|
|
|
|
Ré
|
|
|
|
|
|
|
|
Rémy Dernat
|
|
|
|
|
|
|
|
11:43
|
|
|
|
|
|
|
|
ou réseau calcul
|
|
|
|
|
|
|
|
Ré
|
|
|
|
|
|
|
|
Rémy Dernat
|
|
|
|
|
|
|
|
11:57
|
|
|
|
|
|
|
|
Techniquement il faut faire quoi (à part metadonnées) ?
|
|
|
|
|
|
|
|
(roadmap)
|
|
|
|
|
