un script multithreaded pour parse les CMIP6, CMIP5, CORDEX .. recup le path de chaque fichier .. le split .. creer un fihcier json+csv .. (granularité : Experiment).. + un cat root
l'idée c'est de faire le catalogue en auto ...
la fin de l'histoire :
Un rootcat là : /thredds/ipsl/catalog/CMIP6_cat.yaml (éventuellement le root : ModCat.yaml qui pointera vers CMIP6_cat;CMIP5_cat : CORDEX_cat qu'on pourrait placer au même endroit ^^ )
Et ensuite 2 façon de faire .. à tester :
1/ un cat ESM (json+csv) à "l'experiment_id" et c'est tout (le root pointe vers tous les cat ESM placés là : /bdd/CMIP6/PIMP/IPSL/IPSL6Rbla/lgm/.catalog/cat.json
2/ des yaml qui pointe dans les rep suivant ... jusqu'au cat ESM ( on les place où ceux là ? )
Du coup But de l'histoire :
En entrée
on a /bdd .. qui a toutes les infos nécessaires pour faire ces cat
En sortie
Les cat (une fois choisi la tech choisie)
Bonus : Le tout avec possibilité de multithread
=> du coup l'entrée ... juste un subset de bdd/ pour qu'ensuite on puisse le lancer n fois sur plusieurs subset en meme temps
Prob reperés :
Comment Split le path de chaque projet pour trouver les colonnes de l'ESM ?
