Formation Python pour HPC-HPDA

Découvrir les supercalculateurs (0,25 jour) 

• Rétrospective du tout premier supercalculateur au plus puissant d’aujourd’hui
• Qu’est-ce qu’un supercalculateur : principes et composantes principales : capacités de calcul, capacité réseau et de stockage
• Les différents classements : Top500, Green500, io500
• Comment se programme un supercalculateur : les ordonnanceurs/gestionnaires de ressources : SLURM, PBS…
• Tour d’horizon du supercalculateur Champollion sur lequel nous travaillerons
• Panorama des librairies Python disponibles sur HPC

Travaux pratiques
Prise en main du supercalculateur Champollion : connexion, exécution de premiers jobs avec Slurm, accès en mode interactif aux différents nœuds de calculs

Programmation MPI (0,75 jour)

Le Message Passing Interface désigne une API et des outils conçus pour développer des programmes sur plusieurs ordinateurs pour les besoins en calculs scientifiques à haute performance.

Historiquement disponible pour les langages C et Fortran elle est aussi disponible avec le langage Python.

• Présentation rapide des bases du calcul parallèle avec Python : multithreading, multiprocessing, GIL
• Les concepts MPI et les différentes librairies disponibles
• Les différentes primitives : send/receive, scatter/gather, broadcast/reduce, pools de process …
• Exemples d’applications

Travaux pratiques
Implémentation de différentes problématiques mettant en œuvre les principales primitives : traitement d’un lot d’images, calcul des décimales de PI, manipulation de fichiers CSV volumineux…

Autres librairies de calcul parallèle pour HPC (0,5 jour)

Dans ce chapitre nous vous proposons de découvrir l’écosystème Dask qui vous permettra d’utiliser toute la puissance de votre supercalculateur sans presque rien changer à votre code numpy/pandas

• Présentation de Dask : illustration du concept de graphe de calcul, les composantes de dask: delayed, bag, dask array et dataframe
• L’écosystème Dask : Xarray, Datashader, Prefect, RapidsAI (pour les GPU)…
• Calculer sur des matrices volumineuses avec Dask Array
• Manipuler des Dataframes ne tenant pas en RAM avec Dask DataFrame
• Manipuler des fichiers NetCDF/HDF5 avec Xarray
• Orchestrer des pipelines de traitement de données avec Prefect
• Visualisation BigData avec Datashader

Travaux pratiques
Mise en oeuvre des différentes librairies avec des données Open Data ou proposées par le client.

L’apprentissage automatique avec Dask (0,5 jour)

• Rappel sur les concepts de l’apprentissage automatique :
  • Les principaux types d’apprentissages : supervisé, non supervisé, renforcement, transfert
  • Les principaux algorithmes : des régressions linéaires aux réseaux de neurones en passant par les arbres de décisions et machines à vecteurs de support
• Panorama des différentes librairies Python dédiées au machine learning
• Utiliser Scikit-learn + Dask sur supercalculateur pour les algorithmes classiques

Travaux pratiques
Exercices de classification/régression avec Scikit-learn et Dask

Les réseaux de neurones (0,5 jour)

• Rappel des concepts des réseaux de neurones : graphe de neurones, back propagation, fonction de gain et d’activation
• Panorama des différents types de réseaux de neurones (PER57, DNN, RNN…)
• Présentation de PyTorch et PyTorch Lightning
• Chargement des données volumineuses – bonne utilisation des data loader

Travaux Pratiques
Prise en mains de PyTorch et création d’un premier réseau de neurones simple pour la reconnaissance d’images avec la base MNIST ou ImageNet.
Entrainement sur un, puis plusieurs, nœuds de calcul avec et sans GPU.

Réseaux de neurones convolutionnels (1 jour)

• Optimisation de l’apprentissage : tuning des hyperparamètres, data augmentation, dropout, batch normalization
• Les différentes architectures utilisées en pour la classification et la segmentation d’images
• Présentation des concepts de transfer learning et object detection

Travaux pratiques
Mise en œuvre sur la classification d’images

Traitement du langage naturel (1,5 jour)

• Rappel sur le preprocessing de textes
• Présentation des différentes méthodes de vectorisation (TFIDF, Word2Vec, BERT, etc.)
• Présentation des techniques pour le topic modeling, la recherche d’entités nommées, l’analyse de sentiments, traduction et Word embedding
• Présentation des concepts de transformers

Travaux pratiques
Mise en œuvre sur l’analyse de sentiments, word embedding et traduction. Des corpus issus des bases de données Wikipédia/Gutemberg pourront être utilisés.