leria:centre_de_calcul:cluster
Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
| leria:centre_de_calcul:cluster [23/06/2020 08:35] – [Accès ssh des noeuds de calcul] Chantrein Jean-Mathieu | leria:centre_de_calcul:cluster [01/04/2026 13:55] (Version actuelle) – [Connexion à stargate] Langlais Victoire | ||
|---|---|---|---|
| Ligne 1: | Ligne 1: | ||
| - | <note tip>you can see the translation of this page by clicking on the banner of your language at the top right of this page</ | + | ^ [[technique: |
| + | |||
| + | <note tip>You can see the translation of this page [[leria: | ||
| Ligne 43: | Ligne 45: | ||
| ==== Architecture matérielle ==== | ==== Architecture matérielle ==== | ||
| - | | Hostname | + | | Hostname |
| - | | star[254-253] | + | | star[254-253] |
| - | | star[246-252] | + | | star[246-252] |
| - | | star[245-244] | + | | star[245-244] |
| - | | star243 | + | | star243 |
| - | | star242 | + | | |
| - | | | + | | star[199-195] |
| - | | | + | | star[194-190] |
| + | | star100 | ||
| + | | star101 | ||
| ==== Architecture logicielle ==== | ==== Architecture logicielle ==== | ||
| - | L' | + | L' |
| Slurm est un système de planification et de gestion de grappes open source, tolérant aux pannes et extrêmement évolutif, conçu pour les clusters Linux. | Slurm est un système de planification et de gestion de grappes open source, tolérant aux pannes et extrêmement évolutif, conçu pour les clusters Linux. | ||
| Au sens de Slurm, les nœuds (serveurs) de calculs sont nommés //nodes//, et ces nœuds sont regroupés en famille appelée // | Au sens de Slurm, les nœuds (serveurs) de calculs sont nommés //nodes//, et ces nœuds sont regroupés en famille appelée // | ||
| Ligne 73: | Ligne 77: | ||
| Un cluster de calcul haute performance doit permettre aux utilisateurs d’utiliser un grand espace de stockage lors des calculs. Par conséquent, | Un cluster de calcul haute performance doit permettre aux utilisateurs d’utiliser un grand espace de stockage lors des calculs. Par conséquent, | ||
| * ** compresser ** vos données importantes | * ** compresser ** vos données importantes | ||
| - | * ** déplacer ** vos données compressées | + | * ** déplacer ** vos données compressées |
| - | * ** sauvegarder ** vos données compressées | + | * ** sauvegarder ** vos données compressées |
| - | * ** supprimer ** les données | + | * ** supprimer ** les données |
| - | * Vous nom de fichiers et de répertoires ne doivent pas contenir : | + | * Vos nom de fichiers et de répertoires ne doivent pas contenir : |
| * d' | * d' | ||
| * de caractères accentuées (é,è,â, ...) | * de caractères accentuées (é,è,â, ...) | ||
| Ligne 87: | Ligne 91: | ||
| - | De plus, afin d’éviter les utilisations qui pourraient affecter d’autres utilisateurs, | + | De plus, afin d’éviter les utilisations qui pourraient affecter d’autres utilisateurs, |
| </ | </ | ||
| Ligne 96: | Ligne 100: | ||
| ==== Connexion à stargate ==== | ==== Connexion à stargate ==== | ||
| - | Veuillez effectuer une demande à technique [at] info.univ-angers.fr pour obtenir les informations de connexion au cluster. | + | Veuillez effectuer une demande à technique.info [at] listes.univ-angers.fr pour obtenir les informations de connexion au cluster. |
| < | < | ||
| Ligne 168: | Ligne 172: | ||
| === Documentation === | === Documentation === | ||
| - | |||
| - | Pour aller plus loin, vous pouvez regardez cette série de vidéo de présentation et d' | ||
| - | |||
| - | < | ||
| - | < | ||
| - | <iframe width=" | ||
| - | </ | ||
| - | </ | ||
| Vous trouverez [[https:// | Vous trouverez [[https:// | ||
| Ligne 257: | Ligne 253: | ||
| Il est tout a fait possible de surcharger ces valeurs par défaut avec les options --mem-per-cpu et --time. Toutefois, | Il est tout a fait possible de surcharger ces valeurs par défaut avec les options --mem-per-cpu et --time. Toutefois, | ||
| - | <note important> | + | <note important> |
| + | * vous ne devriez pas surévaluer les ressources de vos jobs. En effet, slurm fonctionne avec une notion de partage juste (fair share): si vous réservez des ressources, peu importe que vous les utilisiez ou non. Lors de vos prochaines soumissions, | ||
| + | * Si vous avez un grand nombre de job à faire, **vous devez utiliser la soumission par array job**. | ||
| + | * Si ces jobs ont de grandes durées d' | ||
| </ | </ | ||
| Ligne 555: | Ligne 554: | ||
| Le chemin pour la bibliothèque Cplex est le chemin par défaut / | Le chemin pour la bibliothèque Cplex est le chemin par défaut / | ||
| + | |||
| + | |||
| + | ==== Environnements conda (Python) ==== | ||
| + | |||
| + | La commande **conda activate < | ||
| + | |||
| + | source ./ | ||
| + | |||
| + | Il sera peut être également nécessaire de mettre à jour les variables d' | ||
| + | |||
| + | source .bashrc | ||
| + | conda init bash | ||
| + | |||
| + | L' | ||
| + | |||
| + | source ./ | ||
| ===== FAQ ===== | ===== FAQ ===== | ||
| Ligne 649: | Ligne 664: | ||
| * keras | * keras | ||
| * scikit-learn | * scikit-learn | ||
| - | * tenserflow | + | * tensorflow |
| - | * tenserflow-gpu # Sur nœuds gpu | + | * tensorflow-gpu # Sur nœuds gpu |
| ==== Nœuds GPU via apt-get ==== | ==== Nœuds GPU via apt-get ==== | ||
| Ligne 672: | Ligne 687: | ||
| * Faire vous même l' | * Faire vous même l' | ||
| * Faire vous même l' | * Faire vous même l' | ||
| - | * Utiliser docker ou singularity (TODO: pas encore disponible) | + | |
| ===== Visualiser la charge du cluster de calcul haute performance ===== | ===== Visualiser la charge du cluster de calcul haute performance ===== | ||
| Ligne 680: | Ligne 695: | ||
| ==== Vue d' | ==== Vue d' | ||
| - | https:// | + | https:// |
| ==== Détails par nœuds ==== | ==== Détails par nœuds ==== | ||
leria/centre_de_calcul/cluster.1592901336.txt.gz · Dernière modification : de Chantrein Jean-Mathieu