Use case with Binder/JupyterLab for public users
Bonjour @nicolas.thiery, et bonne année !!
Nous avions échangé en avril à propos de RADIS #17 , un code de rayonnement dont je suis un des principaux développeurs. Le code a bien évolué depuis, avec le support GPU et la publication des résultats de notre nouvelle méthode de calcul (van den Bekerom 2020).
Nous avons une opportunité aujourd'hui, qui est de faire de ce code le standard mondial pour calculer des bases spectroscopiques à haute résolution, ce qui est actuellement difficile à cause 1. des temps de calcul (ce que résout RADIS) et 2. de la gestion des bases spectroscopiques elle-mêmes.
Pour celà je cherche à déployer :
- un serveur en ligne pour les cas simples, avec une interface minimale sans-code, pour tout public, sans bases de données pré-installées..
- un serveur plus complet pour les usages avancés, type recherche, avec une console, des bases de données avancées pré-installées (sans authentification), et éventuellement un stockage persistant (si authentification).
Pour 1., on a une première version d'une interface radis-ui que l'on va bientôt héberger en ligne. Pour 2., j'ai fait un premier essai avec un JupyterLab fonctionnel : radis-lab construit autour d'un Docker dans lequel je pourrais inclure les bases de données pré-installées dont j'ai besoin. Cette version est actuellement déployée sur https://hub.gke2.mybinder.org/ :
Mybinder.org est limité à 2 Gb de RAM, ce qui est très problématique pour nos cas d'usages : les calculs à haute résolution / haute température avec notre méthode nécessitent assez peu de CPU (quelques secondes), mais beaucoup de RAM, idéalement 16 à 32 Gb. En testant aujourd'hui, j'ai découvert par hasard le projet GESIS https://notebooks.gesis.org/ qui permet d'héberger des Binder déjà déployables en fournissant jusqu'à 8 Gb de RAM en public, et 32 Gb de RAM pour les utilisateurs authentifiés. A noter que leur projet est complètement open-source : https://github.com/gesiscss/orc
J'aimerai beaucoup pouvoir déployer un projet comme celà au sein de l'Université. Est-ce que vous connaissez, ou des projets équivalents ?
Est-ce que ce serait envisageable via le JupyterHub Paris Saclay ? J'ai bien conscience que c'est différent que ce vous portez actuellement, puisqu'on aurait besoin :
- de beaucoup de RAM (32 Gb)
- d'un accès pour tout public sans authentification (mais sans stockage persistant).
- éventuellement, d'un stockage persistant si accès authentifié.
- éventuellement à nouveau, de GPU, pour bénéficier de nos avancées de cet été !