Différences

Ci-dessous, les différences entre deux révisions de la page.

--- leria:centre_de_calcul:cluster [08/02/2019 11:25] – [Array jobs] Chantrein Jean-Mathieu
+++ leria:centre_de_calcul:cluster [26/03/2019 15:33] – [Array jobs] Chantrein Jean-Mathieu
@@ Ligne 18: / Ligne 18: @@
 <note>
   * Cette page de wiki est aussi la votre, n'hésitez pas à la modifier directement ou à proposer des modifications à technique [at] info.univ-angers.fr.
-  * Tous les utilisateurs du cluster doivent être inscrit sur la liste de diffusion [[http://sympa.info.univ-angers.fr/wws/info/cluster|cluster]]
+  * Tous les utilisateurs du cluster doivent être inscrit sur la liste de diffusion [[http://listes.univ-angers.fr/sympa/info/calcul-hpc-leria|calcul-hpc-leria]]
-    * Pour s'inscrire à cette liste de diffusion, il suffit d'envoyer un mail à sympa@info.univ-angers.fr avec pour objet subscribe cluster Nom Prénom
+    * Pour s'inscrire à cette liste de diffusion, il suffit d'envoyer un mail à sympa@listes.univ-angers.fr avec pour objet subscribe calcul-hpc-leria Nom Prénom
 </note>
@@ Ligne 65: / Ligne 65: @@
 Chacune de ces partitions contient des nœuds.
-Les nœuds de calcul fonctionnent avec un système d'exploitation debian testing. Vous pouvez trouvez la liste des logiciels installés dans la section [[leria:centre_de_calcul:cluster#listes_des_logiciels_installes_pour_le_calcul_haute_performance|listes des logiciels installés pour le calcul haute performance]].
+Les nœuds de calcul fonctionnent avec un système d'exploitation debian stable. Vous pouvez trouvez la liste des logiciels installés dans la section [[leria:centre_de_calcul:cluster#listes_des_logiciels_installes_pour_le_calcul_haute_performance|listes des logiciels installés pour le calcul haute performance]].
 ==== Politique d'utilisation ====
@@ Ligne 282: / Ligne 282: @@
 ==== Array jobs ====
-Vous devriez commencer par lire la [[https://slurm.schedmd.com/job_array.html|documentation officielle]].
+Vous devriez commencer par lire la [[https://slurm.schedmd.com/job_array.html|documentation officielle]]. Cette [[http://scicomp.aalto.fi/triton/tut/array.html|page]] présente des cas d'utilisations intéressants.
 Si vous avez un grand nombre de fichier ou de parametres à traiter avec un seul exécutable, vous devez utiliser un [[https://slurm.schedmd.com/job_array.html|array job]].
@@ Ligne 352: / Ligne 352: @@
 ./job_name_exec ${INSTANCES[$SLURM_ARRAY_TASK_ID]}
 </code>
+=== Job pour multiples instances avec multiples exécutions (Seed number) ===
+Parfois il faut lancer plusieurs fois l'exécution sur une instance en modifiant la graine qui permet de générer des nombres aléatoire.
+Soit l'arborescence suivante:
+<code>
+job_name
+├── error
+├── instances
+│   ├── bench1.txt
+│   ├── bench2.txt
+│   └── bench3.txt
+├── job_name_exec
+├── output
+├── submit_instances_dir_with_seed.slurm
+└── submit.sh
+</code>
+Il suffit d’exécuter la commande suivante:
+  ./submit.sh
+avec le fichier submit.sh suivant (pensez à modifier la variable NB_SEED):
+<code bash>
+#!/bin/bash
+readonly NB_SEED=50
+for instance in $(ls instances)
+do
+  sbatch --output output/${instance}_%A-%a --error error/${instance}_%A-%a --array 0-${NB_SEED} submit_instances_dir_with_seed.slurm instances/${instance}
+done
+exit 0
+</code>
+et le batch submit_instances_dir_with_seed.slurm suivant:
+<code bash>
+#!/bin/bash
+#SBATCH --mail-type=END,FAIL
+#SBATCH --mail-user=YOUR-EMAIL
+echo "####### INSTANCE: ${1}"
+echo "####### SEED NUMBER: ${SLURM_ARRAY_TASK_ID}"
+echo
+srun echo nomApplication ${1} ${SLURM_ARRAY_TASK_ID}
+</code>
+Avec cette méthode, la variable SLURM_ARRAY_TASK_ID contient la graine. Et vous soumettez autant de array job que ce qu'il y a d'instance dans le répertoire instance.
+Vous retrouvez facilement vos sortie qui sont nommées comme ceci:
+  output/nom_instance-ID_job-graine
 === Dépendances entre job ===
@@ Ligne 492: / Ligne 547: @@
   * gilles.hunault
+==== Cplex ====
+Le Leria a une licence académique pour le logicielle Cplex.
+Le chemin pour la bibliothèque Cplex est le chemin par défaut /opt/ibm/ILOG/CPLEX_Studio129 (version 12.9)
 ===== FAQ =====
+  * Comment savoir quelles sont les ressources d'une partition, exemple avec la partition std:
+  user@stargate~# scontrol show Partition std
   * Comment obtenir un prompt shell interactif dans un nœud de calcul de votre partition par défaut ?
@@ Ligne 558: / Ligne 622: @@
   * libtool
   * libopenblas-base
+  * maven
   * nasm
+  * openjdk-8-jdk-headless
   * r-base
   * r-base-dev
@@ Ligne 607: / Ligne 673: @@
 ==== Vue d'ensemble du cluster ====
-https://leria.univ-angers.fr/grafana/d/_0Bh3sxiz/vue-densemble-du-cluster
+https://grafana.leria.univ-angers.fr/d/_0Bh3sxiz/vue-densemble-du-cluster
 ==== Détails par nœuds ====
-https://leria.univ-angers.fr/grafana/d/000000007/noeuds-du-cluster
+https://grafana.leria.univ-angers.fr/d/000000007/noeuds-du-cluster
 <note>Vous pouvez sélectionner le nœud qui vous intéresse en utilisant le menu déroulant "HOST"</note>