ReadMe.md 8.07 KB
Newer Older
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
1 2 3 4 5 6 7 8 9 10 11
## TP5 : intégration et déploiement continus

----

### Préambule


                        
   - Le TP est réalisable entièrement dans Gitlab avec l'aide de l'éditeur de pipeline
   - Vous allez vous placer sur votre projet personnel anf
   - Vous allez créer une nouvelle branche tp5
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
12
   - Vous allez vérifier dans les préférences générales du projet si la CI/CD est activée, activez la si nécessaire :  <code>Settings > General > Visibility, project features, permissions</code>
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
13 14 15 16 17 18 19 20 21 22 23 24 25 26
   - A partir de maintenant, vous allez simplement éditer et commiter le manifeste .gitlab-ci.yml
   - Vous avez des liens pour vous aider sur chaque mot clé qui pointent sur la documentation Gitlab

----

### Etape 1 : Stages et Pipelines

   - Créez un fichier .gitlab-ci.yml à la racine de votre projet ou utilisez le bouton "CI/CD configuration"
   - Ajouter un seul <a href="https://docs.gitlab.com/ee/ci/yaml/#stages">stage</a> test et le <a href="https://docs.gitlab.com/ee/ci/yaml/#jobs">job </a> qui correspond
   - Le script devra faire un "Hello world" et afficher la date courante
   - Après le commit, visualisez le pipeline et l'execution du runner dans Gitlab

<details>
  <summary>Solution</summary>
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
27 28 29 30 31 32 33 34 35

    stages :
      - test

    job_test :
      stage: test
      script :
        - echo "Hello world"
        - date
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
36 37 38 39 40 41 42 43 44 45
</details>

----

   - Les jobs sont exécutés dans des conteneurs Docker.
   - Vous pouvez choisir le conteneur à utiliser avec le mot-clés image
   - Pour l'execution précédente, l'image par défaut a été utilisée, recommencez en utilisant une image ubuntu

<details>
  <summary>Solution</summary>
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
46 47 48 49 50 51 52 53 54 55 56

    image : ubuntu
    stages :
      - test

    job_test :
      stage: test
      script :
        - echo "Hello world"
        - date

Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75
</details>


----

   - Un pipeline est défini à l'aide de plusieurs <a href="https://docs.gitlab.com/ee/ci/yaml/#stages">stages</a>
   - Plusieurs jobs de la même étape pourront être exécuté en même temps si les ressources le permettent.
   - En revanche, l'exécution d'une étape dépend du bon déroulement de la précédente, à moins d'en autoriser explicitement l'échec avec <a href="https://docs.gitlab.com/ee/ci/yaml/#allow_failure">allow_failure.</a>
   - Vous allez créer un pipeline dans une image ubuntu avec 3 stages (Solution 1)
     - le premier va executer une script pour donner la date
     - le deuxième va executer une script pour donner le listing du répertoire courant "ls"
     - le troisième va executer une script pour donner des informations système sur la machine "uname -r"
   - Introduisez une erreur dans le script du stage 2 (appelez une commande non existante genre ms)
   - Que se passe t'il pour le stage 3 ?
   - Faites en sorte que le stage 3 soit executé malgré l'échec du stage 2 (Solution 2)


<details>
  <summary>Solution 1 </summary>
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98

    image : ubuntu

    stages :
      - test1
      - test2
      - test3

    job_test1 :
      stage: test1
      script :
        - date

    job_test2 :
      stage: test2
      script :
        - ls

    job_test3 :
      stage: test3
      script :
        - uname -r

Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
99 100 101 102
</details>

<details>
  <summary>Solution 2 </summary>
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124

    image : ubuntu
    stages :
      - test1
      - test2
      - test3

    job_test1 :
      stage: test1
      script :
        - date

    job_test2 :
      stage: test2
      script :
        - ms
      allow_failure: true

    job_test3 :
      stage: test3
      script :
        - uname -r
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
125 126 127 128
</details>

----

Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
129
   - Les mots clés <a href="https://docs.gitlab.com/ee/ci/yaml/#only--except">only/except</a> permettent de définir des roles de déploiement
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
130 131 132 133 134 135 136 137
   - Reprenez l'exemple avec 3 stages, et faites en sorte
     - que le stage 1 soit toujours executé (pas de règles)
     - que le stage 2 soit executé sur la branche tp5
     - que le stage 3 soit executé sur une branche tp5_test que vous allez crée au préalable
   - Vérifiez les exécutions sur les 2 branches

<details>
  <summary>Solution  </summary>
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162
    
    image : ubuntu
    stages :
      - test1
      - test2
      - test3

    job_test1 :
      stage: test1
      script :
        - date

    job_test2 :
      stage: test2
      script :
        - ls
      only:
        - tp5

    job_test3 :
      stage: test3
      script :
        - uname -r
      only:
        - tp5_test
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
163 164
</details>

Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
165
### Etape 2 : Automatisation des tests et génération de la documentation
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
166 167 168 169 170 171 172 173 174 175 176 177 178 179
   **Problème 1**

*   Vous allez désormais utiliser une image python:3 pour exécuter le pipeline et il va falloir installer les modules qui vont bien !

*   Vous devez avoir dans le répertoire TP5 un répertoire **src** avec le fichier [tri.py](src/tri.py) et son fichier de test [tri_test.py](src/tri_test.py)

*   Vous allez écrire un stage de lecture qui execute pylint sur tri.py

*   Vous allez écrire un stage de test qui exécute unittest

*   Que se passe t'il avec le stage de lecture ? Peut être qu'il faut le considérer comme non bloquant ! 

<details>
  <summary>Solution  </summary>
180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200


    image: python:3
    stages:
      - lint
      - test
    
    job_lint:
      stage: lint
      script:
        - pip install pylint
        - cd TP5/src
        - pylint tri
      allow_failure: true
    
    job_test:
      stage: test
      script:
        - cd TP5/src
        - python -m unittest tri_test

Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
201
</details>
202
                                 
Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
203 204 205 206 207 208 209 210 211 212 213 214 215

* * *

**Problème 2**

* Vous allez maintenant remplacer unittest par l'outil [`coverage`](https://coverage.readthedocs.io/en/coverage-5.5/)

* A partir de `Settings` > `CI/CD` > `General Pipeline` : ajouter l'expression régulière suivante pour les test de couverture : `^TOTAL.+?(\d+\%)$`

* Vous pouvez désormais rajouter un badge de couverture dans la partie `Settings` > `General` > `Badges`

<details>
  <summary>Solution  coverage</summary>
216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238

    image : python:3
    stages :
      - lint
      - test
      - deploy
    
    job_lint :
      stage: lint
      script:
        - pip install pylint
        - cd TP5/src
        - pylint tri
      allow_failure: true

    job_test :
      stage: test
      script:
        - pip install coverage
        - cd TP5/src
        - echo " " && echo "-- Performance tests from tri.py --" && coverage run tri.py
        - echo " " && echo "-- Coverage Report via Unit Tests --" && coverage run -m unittest tri_test.py && coverage report  -m --omit=tri_test.py

Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269
</details>

<details>
<summary>Badges</summary>
<ul>
<li>Settings > badges </li>
<li>Name : Coverage</li>
<li>Link : https://gitlab.in2p3.fr/%{project_path}/-/commits/%{default_branch}</li>
<li>Url : https://gitlab.in2p3.fr/%{project_path}/badges/%{default_branch}/coverage.svg</li>
</ul>
</details>


* * *

**Problème 3**

* Vous allez maintenant ajouter un stage de build de la documentation

1. Vous devrez install sphinx et le theme rtd (sphinx-rtd-theme)

2. dans le répertoire documentation adaptez les fichiers à votre convenance : [conf.py](documentation/conf.py "conf for sphinx") et [index.rst](documentation/index.rst "index for sphinx")

3. Générer la documentation avec sphinx-build dans le répertoire public

4. Rajouter le path public dans [l'artifact](https://docs.gitlab.com/ee/ci/pipelines/job_artifacts.html "doc gitlab artifact")

5. Renommer votre job en "pages" et vérifiez après un déploiement réussi, l'accès à vos "pages" dans le menu **Settings > Pages**

<details>
<summary>Solution</summary>
270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302

    image : python:3
    stages :
      - lint
      - test
      - deploy

    job_lint :
      stage: lint
      script:
        - pip install pylint
        - cd TP5/src
        - pylint tri
      allow_failure: true

    job_test :
      stage: test
      script:
        - pip install coverage
        - cd TP5/src
        - echo " " && echo "-- Performance tests from tri.py --" && coverage run tri.py
        - echo " " && echo "-- Coverage Report via Unit Tests --" && coverage run -m unittest tri_test.py && coverage report  -m --omit=tri_test.py

    pages:
      stage: deploy
      script:
        - pip install sphinx -U
        - pip install sphinx-rtd-theme
        - sphinx-build -b html TP5/documentation public
      artifacts:
        paths:
          - public

Cyril L'Orphelin's avatar
Cyril L'Orphelin committed
303
</details>