Commit b1482bb2 authored by Guillaume's avatar Guillaume
Browse files

clean up

parent 31eb0f27
<<<<<<< HEAD
Test
=======
TODO :
un script multithreaded pour parse les CMIP6, CMIP5, CORDEX .. recup le path de chaque fichier .. le split .. creer un fihcier json+csv .. (granularité : Experiment).. + un cat root
l'idée c'est de faire le catalogue en auto ...
la fin de l'histoire :
Un rootcat là : /thredds/ipsl/catalog/CMIP6_cat.yaml (éventuellement le root : ModCat.yaml qui pointera vers CMIP6_cat;CMIP5_cat : CORDEX_cat qu'on pourrait placer au même endroit ^^ )
Et ensuite 2 façon de faire .. à tester :
1/ un cat ESM (json+csv) à "l'experiment_id" et c'est tout (le root pointe vers tous les cat ESM placés là : /bdd/CMIP6/PIMP/IPSL/IPSL6Rbla/lgm/.catalog/cat.json
2/ des yaml qui pointe dans les rep suivant ... jusqu'au cat ESM ( on les place où ceux là ? )
Du coup But de l'histoire :
En entrée
on a /bdd .. qui a toutes les infos nécessaires pour faire ces cat
En sortie
Les cat (une fois choisi la tech choisie)
Bonus : Le tout avec possibilité de multithread
=> du coup l'entrée ... juste un subset de bdd/ pour qu'ensuite on puisse le lancer n fois sur plusieurs subset en meme temps
Prob reperés :
Comment Split le path de chaque projet pour trouver les colonnes de l'ESM ?
------------------------------------------------------------------
l'idée :
1/
- créer le root catalog ici : /modf/catalog/FakeDir
- créer les cat IPSL ici : /modf/catalog/FakeDir/TGCC/....( + l'arborescence ex : IPSL-CM6A-LR/lgm/.catalog/bla.json)
- créer les autres Cat issus des ESGF ici : /modf/catalog/FakeDir/IDRIS/...(+l'arborescence )
2/
- check que tout va bien dans ces catalogs => sinon retour 1/
3/
- Faire le script de copy des fichiers au bon endroit ... sans le lancer ..
Pour faire le 1/ ...
Need : choisir la tech .. soit lien direct sur les ESM .. soit lien via 4 ou 5 yalm qui se ballade l'arborescence
Pour faire le 2/ ...
3 uses cases ...
- le gars qui veut une expermient_id particuliere ... comment il fait .
- le gars qui veut la même experiment_id mais pour plusieurs institution_id
- le gars qui veut pour une variable donnée .. plusieurs experiment_id
-----------------------------------------------------------------
- Quel chemin mettre dans les ESM => celui vu par ciclad
# Solution proposée
- 3 scripts différents
- 1 sur l'idris
- 1 sur le tgcc (le même qu'au dessus)
- 1 sur ciclad
-----------------------------------------------------------------
>>>>>>> 9d2083fea67ba54eb50b7a7b5cdf8fafe99f435d
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment