Introduction

L'architecture logicielle Hadoop déployée sur OSIRIM  s'appuie sur la distribution Hadoop Hortonworks HDP version 2.6. Elle est composée de :

  • Un cluster de calcul de 48 cœurs répartis sur 6 serveurs de calcul. Il est structuré de la manière suivante :

Un nœud de connexion utilisateur (osirim-hadoop)  
Ce nœud est le nœud « client » sur lequel se connectent les utilisateurs pour lancer les traitements de tout type (mapreduce, hbase, hive, spark, pig, ...) et accéder aux données via le protocole hdfs.

Les nœuds de calcul (co2-hdp26-worker-01, ..., co2-hdp26-worker-06) ​
Ces 6 nœuds sont des serveurs dédiés aux calculs, disposant chacun de 8 cœurs et 64Go de RAM. Aucun utilisateur ne peut se connecter dessus. Un processus qui tourne sur un nœud de calcul (traitements map/reduce par exemple) accède à des données hébergées sur la zone de stockage, effectue un traitement et enregistre le résultat sur cette zone. Ce processus est géré par le cluster Hadoop.

  • Une zone de stockage fournie par la baie de stockage d'OSIRIM d'une capacité d'environ 1 Po.