Évaluation de la qualité des comportements des agents en simulation

En Intelligence Artificielle, un agent est une entité autonome au sein d’un environnement qui interagit avec d’autres entités. Une des principales applications du concept d’agent en Intelligence Artificielle se situe dans le cadre de la simulation que ce soit dans le domaine des Agents Virtuels [88] incarnés en Environnement Virtuel ou au sein des Simulations Multi-Agents (SMA).

Les Agents Virtuels sont exploités dans divers domaines tels que les outils d’assistance d’applications, les environnements virtuels participatifs, ou encore les environnements interactifs d’apprentissage humain. La problématique est alors centrée sur sa capacité d’interaction avec l’humain, d’une part au travers divers moyens de communication (multimodalité), et d’autre part via l’apparence de l’agent (incarnation).

La simulation multi-agents est quant à elle utilisée dans de nombreux domaines comme la simulation économique [95], la simulation sociale [36] et la simulation de trafic [40]. Ces domaines ont en commun de s’intéresser à des systèmes complexes qui sont caractérisés par un grand nombre d’entités en interaction qui empêchent l’observateur de prévoir sa rétroaction, son comportement ou son évolution par l’analyse .

Dans nos travaux, nous nous intéressons au cas particulier des simulations immersives dans des environnements de réalité virtuelle (RV ) pour lesquelles les utilisateurs humains cohabitent avec des agents simulés. Une difficulté apparaît pour la conception de ces simulations : les agents doivent réaliser des tâches similaires à celles des humains. Ils doivent alors exhiber des comportements comparables à un utilisateur humain immergé.

La modélisation et l’évaluation d’agents avec l’humain en référentiel est une tâche complexe pour de nombreuses raisons. Premièrement, le comportement choisi par un humain particulier dépend de ses connaissances qui peuvent induire un comportement non optimal. Ainsi, le fait d’avoir comme référence l’humain implique donc la prise en compte de nombreux comportements avec une forte variabilité. Deuxièmement, la personnalité et l’état mental influent aussi sur le comportement : la fonction d’utilité d’une tâche diffère selon les individus. Conséquemment, les humains peuvent choisir de ne pas respecter certaines règles, c’est-à-dire d’exhiber des comportements non normatifs. Troisièmement, il est à noter que le comportement adopté dépend aussi des émotions, ce qui peut entraîner un comportement irrationnel au sens d’incohérent en termes de but. Différents domaines ont ces contraintes comme la simulation de trafic [24], simulation de foule [131] ou la gestion de ressources [65].

Une seconde difficulté émerge pour l’évaluation des comportements de ces agents : le point de vue de l’humain est fortement local et la crédibilité du comportement est jugée essentiellement au niveau microscopique. Cette crédibilité au niveau “local” est primordiale pour la simulation : en effet, l’un des principaux objectifs de ces simulations, que ce soit pour des besoins d’entraînement [14] ou pour la simulation participative [70], est que l’utilisateur reste immergé dans l’environnement virtuel (EV). Si le comportement individuel est incohérent, l’immersion du participant, c’est-à-dire le sentiment d’appartenance à l’EV, est rompue [50, 96].

De même, dans l’approche multi-agents, les buts sont définis au niveau local pour les différentes entités : chaque agent va exhiber un comportement local, qui dépend de ses buts propres et des états des agents “voisins” avec lesquels il est en interaction. Ces comportements locaux forment l’échelle microscopique de la simulation. Le comportement global du système émerge à partir des comportements locaux. Le fonctionnement du système dans son entièreté correspond à l’échelle macroscopique. Il existe donc deux échelles de comportement : le comportement microscopique et macroscopique.

Ainsi, dans la simulation multi-agents comme dans les environnements virtuels, le problème de la validité du comportement individuel est crucial. En effet, le comportement microscopique peut être incohérent (et donc créer une rupture d’immersion) alors même que le comportement macroscopique reste valide. Et réciproquement, le comportement individuel peut rester cohérent alors que le comportement global n’est pas valide [79]. Il faut donc disposer d’outils pour valider le comportement à la fois au niveau macroscopique et au niveau microscopique. Alors qu’il existe déjà de nombreux outils pour la validation au niveau macroscopique, par exemple la comparaison du débit en véhicules par heure entre la simulation et la situation réelle pour la simulation de flux de trafic [113], la littérature propose peu d’outils pour le niveau microscopique.

Plusieurs approches sont envisageables pour évaluer les comportements des agents au niveau microscopique. Premièrement, il est possible de demander à l’utilisateur d’évaluer de manière subjective les comportements à l’aide de questionnaires validés. Cette évaluation subjective se base sur l’expertise humaine. En effet, les Sciences Humaines et Sociales utilisent l’humain comme moyen d’analyse. Cette méthode permet d’obtenir des informations explicites sur les comportements. Cependant elle se voit confrontée à différents problèmes tels que l’attention et l’interprétation du participant, ainsi que le temps nécessaire à l’évaluation lorsque l’expérimentation est longue ou lorsque le nombre de participants est grand. Deuxièmement, il est possible de comparer de manière objective les traces d’exécution des agents avec les actions des humains. En effet, le cadre de la réalité virtuelle nous permet d’obtenir les traces de simulation à la fois des agents virtuels et des participants humains. Cependant, les données obtenues sont fortement bruitées et se résument à des variables bas niveau. Il est néanmoins possible d’effectuer une analyse par similarités basée sur des méthodes de classification. Le regroupement de plusieurs instances analogues sert alors d’abstraction à un archétype de comportement. Cela peut permettre notamment un étalonnage des paramètres d’entrée du modèle d’agent. Toutefois, ce type d’analyse ne permet pas de capturer la sémantique des comportements, elle ne peut aller au-delà des variables utilisées.

C’est la raison pour laquelle nous proposons dans cette thèse de combiner les méthodes d’analyse objective de traces de comportements avec les méthodes d’évaluation subjective issues de Sciences Humaines et Sociales pour évaluer les comportements des agents au niveau microscopique dans ce type de simulations immersives. Nous souhaitons fournir des métriques afin de mesurer la qualité des comportements des agents et être apte à analyser chez les agents leurs capacités à reproduire des comportements humains, pouvoir relever les comportements humains manquants chez les agents, et être en mesure de détecter les comportements erronés des agents.