Creación del entorno virtual

La creación de entornos virtuales de Python se puede realizar con diferentes softwares. Para el trabajo con Deep Learning en el HPC UO se recomienda a los usuarios crear los entornos con Anaconda, el cual es un administrador de bibliotecas y dependencias de Python. Los pasos a seguir son los siguientes:

1. Descargar el instalador desde https://repo.anaconda.com/archive

mkdir ~/temp
cd ~/temp
wget -c https://repo.anaconda.com/archive/Anaconda3-2020.2-Linux-x86_64.sh

Verificar que el fichero descargado no tiene errores con el comando md5sum:

md5sum Anaconda3-2020.2-Linux-x86_64.sh

2. Instalar Anaconda

bash Anaconda3-2020.2-Linux-x86_64.sh

Aceptar la licencia y el camino del home que se indica.

A la pregunta: Do you wish the installer to initialize Anaconda? Responder: No

3. Configurar el shell para usar el comando conda activate desde cualquier directorio.

~/anaconda3/bin/conda init

4. Verificar la instalación

source ~/.bashrc
conda info

Al terminar la instalación, los ficheros de Anaconda están en el directorio ~/anaconda3.

Durante la instalación de Anaconda, en el fichero ~/.bashrc se escriben los comandos que permiten usar el comando conda, los caminos de los ejecutables, etc.

5. Crear el entorno virtual

Una vez instalado Anaconda se crea el entorno virtual tf_gpu (se puede nombrar como se desee) con python 3.7 de la forma siguiente:

source ~/.bashrc
conda create -n tf_gpu python=3.7 anaconda

Trabajo con el entorno virtual creado

Para trabajar con el entorno hay que activarlo con:

conda activate tf_gpu

Al activarse, se muestra (tf_gpu) en el margen izquierdo del shell, indicando que está dentro del entorno.

Para desactivarlo, dentro del entorno virtual se utiliza el comando:

conda deactivate

Para borrar un entorno virtual creado, por ejemplo el entorno <nombre_entorno_virtual>:

conda remove -n <nombre_entorno_virtual>: --all

Instalación de módulos de Python para trabajar Deep Learning con CUDA 10.2 y Keras/Tensorflow

conda activate tf_gpu
conda install tensorflow-gpu=2.2.0
conda install keras=2.4.3

Instalación de módulos de Python para trabajar Deep Learning CUDA 10.2 y PyTorch

Siga los pasos del párrafo anterior pero sustituya:

conda install tensorflow-gpu=2.2.0

Por:

conda install pytorch=<versión>

donde <versión> puede ser 1.5.0, 1.5.1, 1.6.0 o 1.7.0.

Script de envío para el trabajo con entornos virtuales

La creación de entornos virtuales de Python se realiza por parte de los usuarios usando una terminal en el nodo de conexión del HPC UO. Pero al enviar un trabajo con el comando sbatch de Slurm, el trabajo se ejecuta en el nodo014. Para indicar que se va a trabajar con el entorno virtual, los usuarios tienen que incluir dentro del script de Slurm lo siguiente:

source ~/.basrc
conda activate <nombre_entorno_virtual>

y luego escribir el comando a ejecutar.