RESULTATS EXPERIMENTAUX SUR LA GRILLE EGI ET LE CLUSTER DE KISTI

RESULTATS EXPERIMENTAUX SUR LA GRILLE EGI ET LE CLUSTER DE KISTI

Dans le chapitre précédent, nous avons présenté les résultats de simulations déployées à l’aide de SIMGRID pour choisir la meilleure stratégie d’ordonnancement des tâches de criblage virtuel soumises à une plate-forme à agents pilotes sur des infrastructures de grille et de cloud. La prochaine étape est de confronter nos observations à des tests expérimentaux sur des infrastructures opérationnelles pertinentes dans la perspective d’un travail depuis le Vietnam.

Nous avons considéré pour cela d’une part l’infrastructure de grille EGI et d’autre part un des clusters de PLSI (Partnership & Leadership for the nationwide Supercomputing Infrastructure), infrastructure distribuée de supercalculateurs en Corée du Sud. Les résultats présentés dans ce chapitre ont été obtenus avec les plates-formes à agents pilotes DIRAC et HTCaaS.

Pour comparer la politique SPT à l’algorithme d’ordonnancement original de la plate-forme, nous avons considéré un scénario avec 2 utilisateurs sur DIRAC et HTCaaS. Pour comparer entre SPT et SPT-SPT, nous avons considéré un scénario à 1000 utilisateurs sur HTCaaS. Le résultat obtenu montre que la politique SPT est meilleure que la politique originale de la plate-forme, et la politique SPT-SPT est meilleure que la politique SPT pour optimiser le ralentissement des utilisateurs. 145

Expérimentation avec DIRAC sur EGI

Nous avons vu dans le paragraphe 2.2.3 que l’infrastructure européenne EGI accueillait des communautés d’utilisateurs en sciences du vivant, notamment dans l’organisation virtuelle Biomed. Nous avons aussi décrit la plate-forme DIRAC [43] au paragraphe 2.4.5.

Nous allons présenter dans un premier temps la méthode que nous avons utilisée pour implémenter de nouvelles politiques d’ordonnancement dans DIRAC. Nous présenterons ensuite un calcul des ralentissements attendus avec la politique RR et la politique SPT dans le test déployé sur EGI puis nous discuterons les résultats obtenus.

Implémentation des politiques d’ordonnancement

La figure 6.1 présente les différents modules de la plate-forme DIRAC. 146 API WMS Web Job Manager Sandboxes Matcher VM Scheduler Cloud A VM VM VM Job Agent VM VM Cloud B VM VM VM Task Cloud C Job Agent VM Job Agent Figure 6-1: Représentation schématique des différents modules de DIRAC. Quand DIRAC reçoit des tâches soumises par des utilisateurs, elles sont stockées dans une queue (TaskQueue) et une priorité est assignée à ces tâches.

Ensuite lorsque DIRAC reçoit une demande d’un agent pilote, le module « Matcher » envoie la tâche qui a la plus haute priorité. Un module « Corrector » met à jour la priorité de chaque tâche dans la queue. Dans le cas d’un déploiement sur un cloud ou une fédération de clouds, c’est le module VM Scheduler qui déploie les images virtuelles VM DIRAC.

De cette façon, DIRAC permet aux utilisateurs de définir une politique de planification spécifique en programmant son propre module « Corrector ». Nous avons donc installé un serveur DIRAC au Laboratoire de Physique Corpusculaire de Clermont-Ferrand.

Sur ce 147 serveur, nous avons créé un groupe nommé « docking_usr » d’utilisateurs de la VO biomed. Ensuite, nous avons programmé le module « Corrector » selon la politique SPT (avec l’aide d’Andrei Tsaregorodtsev – Centre de Physique des Particules de Marseille sur la programmation dans la plate-forme DIRAC). La modification se fait en deux étapes.