La plateforme OSIRIM est composée d’un cluster de calcul de 1120 cœurs répartis sur 26 serveurs de calcul + 28 cartes Nvidia GTX 1080 TI répartis sur 7 serveurs ainsi que 3 cartes Nvidia Quadro RTX6000 (24 Go RAM). Ce cluster est structuré de la manière suivante :
Les nœuds de connexion utilisateurs
Ces nœuds sont utilisés pour valider les programmes avant de les lancer sur le cluster de calcul. Ces nœuds interactifs sont partagés entre tous les utilisateurs et ne doivent pas être utilisés pour l’exécution de jobs longs.
Les nœuds de calcul CPUs (co2-nc01, …, co2-nc26)
Ces nœuds sont des serveurs dédiés aux calculs. Un processus qui tourne sur un nœud de calcul accède à des données hébergées sur la zone de stockage, effectue un traitement et enregistre le résultat sur cette zone.
Les caractéristiques techniques des 10 nœuds de calculs co2-nc01 à co2-nc10 sont les suivantes:
10 serveurs IBM X3755 M3 constitués chacun de :
– 4 Processeurs AMD Opteron 6262HE de 16 coeurs à 1,6Ghz
– 512 Go de RAM
– 2 x 300 Go de disque en RAID1
– réseau 2 x 10 Gb/s
Les caractéristiques techniques des 12 nœuds de calculs co2-nc11 à co2-nc22 sont les suivantes:
3 chassis DELL C6420 contenant 12 serveurs composés chacun de :
– 2 Processeurs Intel Xeon Gold 6136 de 12 coeurs à 3 Ghz
– 192 Go de RAM
– 2 x 256 Go de disque en RAID1
– réseau 10 Gb/s
Les caractéristiques techniques des 4 nœuds de calculs co2-nc23 à co2-nc26 sont les suivantes:
1 chassis DELL C6525 contenant 4 serveurs composés chacun de :
– 2 Processeurs AMD EPYC Rome 7402 de 24 coeurs à 2,8 Ghz
– 512 Go de RAM
– 2 x 256 Go de disque en RAID1
– réseau 10 Gb/s
Les nœuds de calcul GPUs (co2-ng01, …, co2-ng07)
Ces nœuds sont des serveurs dédiés aux calculs sur GPU. Chacun des 7 serveurs est équipé de 4 cartes graphiques Nvidia Geforce GTX 1080TI.
Les caractéristiques techniques de ces 7 serveurs sont les suivantes :
7 serveurs DELL T630
– 2 processeurs Xeon 2640 V4 (20 threads)
– 2 x 400 Go de disque SSD en RAID1
– réseau 1 x 10 Gb/s
– 4 GPUs Nvidia GTX 1080 TI (3584 coeurs cuda, 11 Go RAM)
Le nœud de calcul GPU co2-ng09
Ce nœud est dédié aux calculs sur GPU. Il est équipé de 3 cartes graphiques Nvidia Quadro RTX6000.
Les caractéristiques techniques de ce serveur sont les suivantes :
Serveur DELL R740
– 2 processeurs Xeon Gold 6230 20 coeurs
– 2 x 223 Go de disque SSD en RAID1
– réseau 1 x 10 Gb/s
– 3 GPUs Nvidia Quadro RTX 6000 (4608 coeurs cuda, 576 cœurs NVIDIA Tensor, 72 cœurs NVIDIA RT, 24 Go RAM)
Une baie de stockage d’1 Po
Un processus qui tourne sur un nœud de calcul accède à des données hébergées sur la zone de stockage, effectue un traitement et enregistre le résultat sur cette zone. Le stockage des données sur la plateforme OSIRIM est assuré par une baie EMC Isilon composée de :
– 11 noeuds X400 de 36 disques SATA de 3 To chacun
– chaque noeud est raccordé au réseau via un trunk de 2 liens 10Gb/s
– la volumétrie utile s’élève à environ 1 Po
OneFS est l’OS de la baie de stockage qui intègre à la fois le système de fichiers, la gestion de volume, et la sécurisation des données.
L’ensemble constitue un unique système de fichiers distribué, avec un seul espace de nommage, qui a la capacité de présenter les données aux serveurs suivant plusieurs protocoles. NFS et HDFS sont les protocoles d’accès utilisés sur OSIRIM.