Hadoop

L’architecture logicielle Hadoop déployée sur OSIRIM s’appuie sur la distribution Hadoop Hortonworks HDP version 2.3. Elle est composée de :

• Un cluster de calcul de 48 coeurs répartis sur 6 serveurs de calculs. Il est structuré de la manière suivante :

- Un noeud de connexion utilisateur (osirim-hadoop) Ce noeud est le noeud « client » sur lequel se connectent les utilisateurs pour lancer les traitements de tous types (mapreduce, hbase, hive, spark, pig, …) et accéder aux données via le protocole hdfs.

- Les noeuds de calcul (co2-hdp-worker-01, …, co2-hdp-worker-06) Ces 6 noeuds sont des serveurs dédiés aux calculs, disposant chacun de 8 coeurs et 64Go de RAM. Aucun utilisateur ne peut se connecter dessus. Un processus qui tourne sur un noeud de calcul (traitements map/reduce par exemple) accède à des données hébergées sur la zone de stockage, effectue un traitement et enregistre le résultat sur cette zone. Ce processus est géré par le cluster Hadoop.

• Une zone de stockage d’une capacité d'environ 1 Po. Ce stockage est assuré par une baie composée de 12 noeuds (Noeud 1,… Noeud 12).​