Installation d’un premier cluster de calculs HPDA en France

Cluster de calculs HPDA

Dynacentrix annonce l’installation d’un premier cluster de calculs HPDA en France.

Depuis quelques années, le calcul haute-performance (HPC) infusent dans la communauté des data scientists, qui entre, dans l’ère du High Performance Data Analytics (HPDA)

Au-delà de l’indispensable puissance de calcul, HPC et HPDA, misent sur une optimisation matérielle guidée par les algorithmes. Les nouveaux clusters de calcul intégrerons automatiquement une offre Analytics HPDA et proposerons tous les outils open sources et payant de machine Learning et deep Learning du marché.

Un peu d’histoire

Depuis 2012, avec le renouveau des réseaux neuronaux , certains chercheurs ont alors commencé à détourner les processeurs graphiques (GPU) de leurs stations de travail afin de répondre à la demande croissante de calculs pour faire tourner leurs algorithmes de deep learning.

Comme cela a été le cas une dizaine d’années plus tôt dans le monde du HPC pour accélérer les calculs physiques (NVIDIA a conçu les premiers GPU en 1999). De nouveaux langages de programmation comme Cuda ou OpenCL avaient alors permis de porter les codes sur ce type de composants, ce qui avait ouvert la voie à la création de kernel , ces noyaux qui gèrent les ressources hétérogènes des serveurs, hautement parallèles.

De la même façon, comme cela s’est produit dans le monde du HPC, depuis 3 ou 4 ans, les fabricants ont commencé à optimiser les GPU pour les algorithmes de machine learning, notamment avec des Tensor Core, ces unités de calcul capables de mener en parallèle les multiples opérations matricielles des intelligences artificielles (IA). Les dernières générations de GPU permettent d’utiliser des centaines de ces cœurs pour accélérer les traitements.

Les GPU les plus récents comportent plus de 5000 cœurs, ce qui permet déjà de faire du parallélisme à très grande échelle là où un processeur de calcul CPU de la famille des x86 d’Intel, le standard il y a encore 5 ans, était composé au maximum 64 cœurs.

Bien sûr, l’entrainement d’un gros réseau de neurones pourra prendre 2 mois sur un seul GPU. Pour aller plus vite, il faut en utiliser 2 voire 4 ou 8 dans une station de travail ou un serveur dédié ; au-delà, on peut faire travailler plusieurs de ces « boites » en parallèle. Pour le HPC, certains clusters HPE comportent plus de 1000 serveurs, travaillant sur le même code.

Le GPU n’est- pas la seule technologie envisageable pour faire tourner un réseau de neurones car à partir du moment où la filière découvre le parallélisme et le deep learning distribué, cela ouvre le marché à d’autres acteurs tels qu’Intel.

Par exemple Intel, de son côté, travaille également à l’ajout de nouvelles instructions dans ces processeurs (VNNI) pour accélérer l’inférence et se passer d’accélérateurs, permettant de simplifier l’architecture et de réduire le cout de la solution.

En répartissant l’apprentissage en parallèle sur plusieurs GPU voire plusieurs serveurs, ou un grand nombre de processeurs, on gagne en rapidité et indirectement en qualité de prédiction de l’intelligence artificielle (travail sur de plus gros jeux de données, nombre de cycles d’apprentissage, …).

Là encore, c’est l’utilisation des méthodes tirées du HPC, adaptées au machine learning, comme le programme de parallélisation Horovod , qui permet la parallélisation.  Celles-ci sont désormais intégrés à tous les frameworks majeurs, ces programmes qui entrainent des IA, TensorFlow, Pytorch, Keras et les autres.

HPDA et Dynacentrix

Les nouveaux clusters HPDA Installés par Dynacentrix en partenariat avec le constructeur informatique HP Enterprise proposent aux data scientistes d’exploiter le parallélisme pour améliorer jusqu’à fois 1000 la performance de calcul et donc réduire le temps de calculs. Fini les attentes interminables pour obtenir les résultats.

Les data scientiste ayant de gros volumes de données à traiter peuvent maintenant demander à leur manager de louer du temps CPU & GPU et du stockage de données pour faire tourner leurs algorithmes. Ils auront beaucoup plus de temps pour l’interprétation des résultats obtenus, ce qui est le cœur de la valeur apportée par un data scientiste.

Nous contacter

Depuis le printemps 2021 l’équipe Dynacentrix s’est rapprochée de l’équipe HPDA dont le centre de compétences européens HPE est à Grenoble.   Ce partenariat avec l’équipe Data HPE a abouti à la spécification des outils de data science à mettre en œuvre et leur installation sur un nouveau cluster HPDA sur la région de Rouen.

Celui-ci sera mis en production en fin d’année 2022 sur un nouveau site sécurisé.

 L’équipe Dynacentrix a été missionnée aussi pour développer le portail d’accès des clients internes et externes et la mise en place de la sécurité avec l’installation d’un serveur dédié ( Slurm).

Suite à la demande de l’équipe HPE, le pôle formation de Dynacentrix a développé des formations HPDA qui sont maintenant disponibles et dont vous trouverez les programmes dans la rubrique Formation sur notre site web et dans notre nouveau catalogue de formation de septembre 2022.