Utilisation des frameworks de Machine Learning et Deep Learning sur GPUs

Conteneurs Singularity

Des frameworks de « machine learning » et « deep learning » sont disponibles sur Osirim sous forme de conteneurs.

Afin de permettre l'utilisation de plusieurs versions de Cuda/CuDNN/Python et éviter les problèmes de dépendances et les conflits entre librairies de machine learning, chaque framework s'exécute dans un conteneur dédié. Bien que Docker soit la solution de conteneurisation la plus répandue, nous utilisons sur Osirim Singularity, solution de conteneurisation adaptée aux clusters de calcul.

https://www.sylabs.io/docs/

Les images Singularity (.SIF) des frameworks sont bâties sur des images Ubuntu 16.04 et CUDA 9, Ubuntu 18.04 et CUDA10, CUDA11. Les images (.SIF) sont disponibles sous /logiciels/containerCollections/

Nom du conteneur	OS	CUDA	CuDNN	Tensorflow	Keras	Theano	Pytorch	Contents
CUDA 9
keras-tf.sif	Ubuntu 16.04	9.0	7.1.2	1.12.0	2.2.4
keras-th.sif	Ubuntu 16.04	9.0	7.1.2		2.2.4	1.0.3
pytorch.sif	Ubuntu 16.04	7.5	5.1				0.2.0
pytorch_1.0.1.sif	Ubuntu 16.04	9.0	7.4.2				1.0.1
tf.sif	Ubuntu 16.04	9.0	7.1.2	1.12.0
th.sif	Ubuntu 16.04	9.2	7.1.2			1.0.3
vanilla_9.0.sif	Ubuntu 16.04	9.0	7.1.2
vanilla_9.2.sif	Ubuntu 16.04	9.2	7.1.2
CUDA 10
keras-tf.sif	Ubuntu 18.04	10.0	7.1.4	1.13.1	2.2.4
keras-tf-NGC-19-07.sif	Ubuntu 18.04	10.1	7.6.1	1.14.0	2.2.5			Release Notes
tf2-NGC-19-11-py3.sif	Ubuntu 18.04	10.2	7.6.5	2.0.0	2.3.1			Release Notes
tf1-NGC-20-03-py3.sif	Ubuntu 18.04	10.2	7.6.5	1.15.2	2.4.3			Release Notes
tf2-NGC-20-03-py3.sif	Ubuntu 18.04	10.2	7.6.5	2.1.0	2.4.3			Release Notes
pytorch.sif	Ubuntu 18.04	9.0	7.1.2				0.4.0
pytorch-NGC-19-07.sif	Ubuntu 18.04	10.1	7.6.1				1.2.0	Release Notes
pytorch-NGC-19-11-py3.sif	Ubuntu 18.04	10.2	7.6.5				1.4.0	Release Notes
pytorch-NGC-20-03-py3.sif	Ubuntu 18.04	10.2	7.6.5				1.5.0	Release Notes
tf.sif	Ubuntu 18.04	10.0	7.1.4	1.13.1
vanilla_10.0.sif	Ubuntu 18.04	10.0	7.1.4
CUDA 11
tf1-NGC-20-06-py3.sif	Ubuntu 18.04	11.0	8.0.1	1.15.2	2.4.3			Release Notes
tf2-NGC-20-06-py3.sif	Ubuntu 18.04	11.0	8.0.1	2.2.0	2.4.3			Release Notes
pytorch-NGC-20-06-py3.sif	Ubuntu 18.04	11.0	8.0.1				1.6.0	Release Notes
tf2-NGC-21-03-py3.sif	Ubuntu 20.04	11.2	8.1.1	2.4.0				Release Notes
pytorch-NGC-21-03-py3.sif	Ubuntu 20.04	11.2	8.1.1				1.9.0	Release Notes

Les images portant la mention NGC sont des images construites à partir des conteneurs dockers Nvidia disponibles sur https://ngc.nvidia.com

Exécution d'un conteneur singularity

L'exécution d'un conteneur singularity s'effectue via la commande 'singularity exec' suivie de l'image du conteneur et du traitement à exécuter dans le conteneur.

Exemple :

module load singularity/3.0.3
cd /logiciels/containerCollections/CUDA11/
singularity exec ./pytorch-NGC-20-06-py3.sif $HOME/moncode.sh

A noter que les variables d'environnement de l'utilisateur sont disponibles dans les conteneurs ainsi que les répertoires /users /projets et /logiciels

Utiliser les Frameworks dans un batch Slurm

Les frameworks disponibles ont la capacité de s'exécuter sur CPUs ou GPUs. Vous pouvez donc exécuter les conteneurs avec Slurm sur n'importe quelle partition d'OSIRIM: '24CPUNodes', '48CPUNodes', '64CPUNodes', 'GPUNodes' ou 'RTX6000Node'.

Dans les exemples ci-dessous, nous souhaitons tirer parti des GPUs, et exécutons les traitements sur la partition 'GPUNodes'. Pour indiquer à Slurm que nous souhaitons utiliser des GPUs, 2 paramètres sont à mentionner impérativement :

#SBATCH --gres=gpu:1 (le nombre de cartes que l'on souhaite utiliser, 4 max par serveur) #SBATCH --gres-flags=enforce-binding

Exemples d'utilisation du framewok Pytorch

Contenu de slurm_job_pytorch.sh pour l'exécution de Pytorch:

#!/bin/sh

#SBATCH --job-name=GPU-Pytorch-Singularity-Test
#SBATCH --output=ML-%j-Pytorch.out
#SBATCH --error=ML-%j-Pytorch.err

#SBATCH --ntasks=1
#SBATCH --cpus-per-task=4
#SBATCH --partition=GPUNodes
#SBATCH --gres=gpu:1
#SBATCH --gres-flags=enforce-binding

module purge
module load singularity/3.0.3

srun singularity exec /logiciels/containerCollections/CUDA11/pytorch-NGC-20-06-py3.sif python "$HOME/pytorch-script.py"

Exécution :

[bob@co2-slurm-client ~]$  sbatch slurm_job_pytorch.sh

Installation de packages supplémentaires

Il se peut que vous souhaitiez utiliser des bibliothèques non disponibles par défaut dans les conteneurs mis à votre disposition.

Pour installer des packages complémentaires, nous vous préconisons d'utiliser un environnement virtuel python que vous créerez à l'aide de virtualenv et pip.

Créez tout d'abord le répertoire qui hébergera votre environnement virtuel dans votre Home directory (mon_env pour l'exemple) :

[bob@co2-slurm-client ~]$  mkdir $HOME/mon_env

Ouvrez ensuite un shell dans le conteneur :

[bob@co2-slurm-client ~]$ singularity shell /logiciels/containerCollections/CUDA11/pytorch-NGC-20-06-py3.sif

Vérifiez au préalable que la ou les librairies souhaitées ne sont pas présentes dans le conteneur :

Singularity pytorch-NGC-20-06-py3.sif:~> $ pip list  (ou conda list)

Créez l'environnement virtuel dans le répertoire 'mon_env' :

Singularity pytorch-NGC-20-06-py3.sif:~> $ virtualenv --system-site-packages $HOME/mon_env

Le paramètre --system-site-packages utilisé avec la commande virtualenv vous permettra d'utiliser dans l'environnement virtuel tous les packages déjà installés (pytorch, ...) avec le python du contenuer, utilisé pour installer l'environnement virtuel.

Ensuite, une fois l'environnement virtuel créé, vous pouvez installer localement les packages voulus (exemple avec le package 'transformers') en utilisant pip.

Pour éviter une erreur du type "EnvironmentError: [Errno 28] No space left on device",vous devez positionner la variable d'environnement Linux TMPDIR dans votre Home directory à la place de celui par défaut, qui ne contiendra peut être pas suffisamment d'espace.

Singularity pytorch-NGC-20-06-py3.sif:~> $ mkdir localTMP
Singularity pytorch-NGC-20-06-py3.sif:~> $ TMPDIR=$HOME/localTMP
Singularity pytorch-NGC-20-06-py3.sif:~> $ TMP=$TMPDIR
Singularity pytorch-NGC-20-06-py3.sif:~> $ TEMP=$TMPDIR
Singularity pytorch-NGC-20-06-py3.sif:~> $ export TMPDIR TMP TEMP

Après avoir exporté les variables TMPDIR, TMP et TEMP, votre environnement est prêt pour l'installation des packages complémentaires.

Activez votre environnement virtuel :

Singularity pytorch-NGC-20-06-py3.sif:~> $ source $HOME/mon_env/bin/activate

Installez le package avec pip :

Singularity pytorch-NGC-20-06-py3.sif:~> $ pip install transformers --user

Note : le flag --user permet d'installer les packages dans le répertoire local de votre environnement 'mon_env', non dans le conteneur.

Enfin, vous pouvez utiliser les nouveaux packages dans vos traitements à partir d'un job SLURM :

Exécution :

[bob@co2-slurm-client ~]$  sbatch slurm_job_transformers.sh

Contenu de slurm_job_transformers.sh :

#!/bin/sh

#SBATCH --job-name=GPU-transformers-Singularity-Test
#SBATCH --output=ML-%j-transformers.out
#SBATCH --error=ML-%j-transformers.err

#SBATCH --ntasks=1
#SBATCH --cpus-per-task=4
#SBATCH --partition=GPUNodes
#SBATCH --gres=gpu:4
#SBATCH --gres-flags=enforce-binding

module purge
module load singularity/3.0.3

srun singularity exec /logiciels/containerCollections/CUDA11/pytorch-NGC-20-06-py3.sif $HOME/mon_env/bin/python "$HOME/transformers-script.py"

NOTE : Certains conteneurs disposent également de CONDA pour créer vos propres environnements personnalisés, mais il sera dans ce cas nécessaire de cloner l'environnement conda du conteneur pour utiliser les librairies python nativement installées dans le conteneur (ou réinstaller l'ensemble des librairies que vous souhaitez utiliser dans votre enviroennemnt CONDA). C'est pour cette raison que nous vous préconisons l'utilisation de 'virtualenv' et 'pip'.

IMPORTANT : Si vous créez un environnement virtuel Python avec une version spécifique de python (e.g. conda create -n mon_env python=2.7), vous devrez réinstaller dans cet environnement tous les packages dont vous aurez besoin, y compris ceux déjà inclus dans le conteneur.