De l’analyse d’opinions à la détection des problèmes d’interactions humain-machine

La problématique de la détection des problèmes d’interaction dans les dialogues humainmachine revient à l’ordre du jour avec la digitalisation omniprésente des entreprises et surtout de la relation client. La définition d’un problème d’interaction varie en fonction du but final de leur détection et du niveau technique du système conversationnel. La définition la plus répandue et initiée par WALKER et collab. [2002] se focalise sur les dysfonctionnements du système, c’est à dire son incapacité à accomplir la tâche demandée par l’utilisateur .

La perception du déroulement de l’interaction par l’utilisateur n’est qu’une approche émergente. La problématique de l’analyse d’opinion en tant que telle est largement étudiée mais reste un sujet débattu. L’augmentation des données sur Internet nourrit les cas d’applications envisageables et imaginables. Toutefois, la plupart des analyses s’arrêtent au niveau de la détection de la polarité positive ou négative. Des analyses plus détaillées restent difficiles à effectuer. Une des problématiques liées à la détection de l’opinion de l’utilisateur est également la détection de la cible de l’opinion. Il est important, par exemple dans notre cas, de distinguer une opinion exprimée envers l’interaction avec le chatbot, de l’opinion exprimée envers les produits ou des services accompagnant ces produits. La majorité des analyses d’opinions, des émotions, de l’affect ou autres phénomènes reliés à l’opinion dans le domaine des systèmes conversationnels automatiques est réalisée pour les systèmes vocaux. Les interactions entre un chatbot et ses utilisateurs restent peu étudiées et encore moins pour le français.

Les interactions humain-agent peuvent être restreintes par le domaine de l’entreprise ou suivre une conversation libre. Suite à la popularité grandissante de « l’intelligence artificielle », et la démocratisation des outils de développement de chatbots, la satisfaction de l’utilisateur final revient au premier plan dans le monde industriel. Dans le monde académique les travaux continuent majoritairement à chercher les meilleures méthodes d’exploitation des données « objectives » (c’est-à-dire des données des logs) provenant du système du chatbot.

Par ailleurs, le contexte classique des analyses en TAL est un texte bien formé, contenant des mots aux normes dictionnairiques. Les travaux de recherche sur la détection des opinions et des émotions sur ce type de texte sont bien développés. Les spécificités des écrits de tchat sont souvent considérées comme du bruit, or elles peuvent également être porteuses d’informations sur l’état émotionnel de l’utilisateur. Une analyse détaillée est nécessaire pour décider de l’importance de chaque spécificité.

La revue des définitions et des typologies des problèmes d’interactions dans les deux sous-sections suivantes nous permet de nous positionner sur la question de la détection des problèmes d’interaction. Il est à noter que nous considérons les études existantes pour les systèmes de dialogue humain-machine aussi bien vocaux que textuels. Les problèmes d’interaction ont essentiellement été abordés dans la communauté hommemachine pour les systèmes de dialogue vocal. Ce sujet est encore rarement abordé pour les chatbots.

LANGKILDE et collab. [1999] ont été parmi les premiers chercheurs à s’intéresser à la prédiction des dialogues problématiques. Ils ont défini le premier périmètre de la problématique : l’identification des raisons de l’échec du système à répondre aux demandes de l’utilisateur. Depuis, le courant principal des recherches sur cette thématique a été d’identifier les composants des systèmes vocaux à l’origine de l’apparition des problèmes d’interaction [GEORGILADAKIS et collab., 2016]. Les problèmes d’interactions sont alors souvent définis à travers des cas notables tels que :
— l’interruption du dialogue par l’utilisateur [LANGKILDE et collab., 1999], appelée également « breakdown » [MARTINOVSKY et TRAUM, 2006]
— l’intervention d’un agent humain [LANGKILDE et collab., 1999] ou le transfert de l’utilisateur vers un agent humain suite à sa demande [BEAVER et FREEMAN, 2016]
— l’échec du système à accomplir une tâche [LANGKILDE et collab., 1999] .

WALKER et collab. [2002] donne une définition plus concise des dialogues problématiques : « Les dialogues dans lesquels le système (How May I Help You) n’a pas réussi à terminer la tâche donnée par l’utilisateur sont appelés problématiques ».  Par la suite le développement technique des systèmes dialoguant a permis d’affiner la définition d’un problème d’interaction et la prise en compte de la satisfaction client comme l’un des éléments constitutifs des problèmes d’interaction [HASTIE et collab., 2002]. Cette prise en compte s’appuie notamment sur la détection des émotions négatives de l’utilisateur dans ses échanges vocaux [LISCOMBE et collab., 2005; ANG et collab., 2002]. Un aspect différent de la prise en compte de l’utilisateur dans les échecs des communications avec un système vocal a été ensuite proposé par [MÖLLER et collab., 2007]. Les auteurs définissent les problèmes d’interaction comme le résultat d’un déséquilibre entre les modèles de l’utilisateur et du système utilisés lors de la conception du système et la vision du système par l’utilisateur; autrement dit des « fausses idées » (« misconceptions »). Cette perception des problèmes d’interaction permet de se détacher des composants du système qui étaient au cœur des recherches précédentes. Ils proposent un modèle « réaliste » de l’utilisateur pour le futur développement des systèmes vocaux dialoguant. MÖLLER et collab. [2007] présentent les aprioris de l’utilisateur sur le fonctionnement du système, par exemple la capacité du système à effectuer une tache qui ne fait pas partie de ses compétences. Tout en étant un aspect important à prendre en compte lors du développement d’un système conversationnel, un autre aspect de la vision du système par l’utilisateur peut être envisagé. Cet aspect est proposé par XIANG et collab. [2014] dans sa définition d’une situation problématique : « Les situations problématiques reflètent le fait que l’utilisateur humain n’est pas satisfait par les réponses proposées par un système conversationnel »  . Cette définition permet d’évaluer les performances du système du point de vue du résultat attendu par l’utilisateur et non du point de vue du processus de la prise en main. Les types génériques des problèmes d’interaction classés suivant l’angle du processus de la prise en main peuvent d’autant plus se traduire par des motifs différents d’actions utilisateur en fonction du système utilisé [MÖLLER et collab., 2007]. Nous sommes donc amenée à une revue des typologies existantes.

Les typologies des problèmes d’interaction développent les axes indiqués par les définitions des problèmes d’interaction. La typologie des problèmes d’interaction proposée par LANGKILDE et collab. [1999] : (1) « l’utilisateur raccroche le téléphone », (2) « l’agent humain reprend l’appel » et (3) « le système croit qu’il a bien réalisé la tâche, alors que la tâche n’a pas été accomplie avec succès ». Cette typologie a été exploitée également par WALKER et collab. [2002].

HIRST et collab. [1994] ont modélisé des problèmes d’interaction entre les humains pour les appliquer ensuite aux machines. Ils définissent les types suivants de problèmes d’interaction :

— incompréhension, lorsque l’un des interlocuteurs n’est pas capable d’interpréter l’énoncé de l’autre;
— malentendu, lorsque l’un des interlocuteurs ne se rend pas compte que son interprétation de l’énoncé de l’autre ne correspond pas au message prévu par l’émetteur. Les malentendus peuvent être à leur tour de deux types :
— un malentendu manqué, lorsque les interlocuteurs ne remarquent pas l’existence d’un malentendu, et
— un malentendu remarqué, lorsqu’au moins un des interlocuteurs se rend compte de l’existence d’un malentendu. Lorsque l’interlocuteur se rend compte de l’existence d’un malentendu, HIRST et collab. [1994] utilisent deux sous-classes :
— les malentendus auto-détectés (« self-misunderstandings »), lorsqu’un malentendu est produit et détecté par le même participant d’un dialogue;
— les malentendus détectés par autrui (« other-misunderstandings »), lorsqu’un malentendu chez un participant est détecté par un autre participant.

HIRST et collab. [1994] excluent les conceptions erronées de leur étude car elles font partie des connaissances préalables à la conversation. Afin de représenter tous les types de manque de compréhension menant aux problèmes d’interaction, ce qui correspond au deuxième angle, nous pouvons donc considérer la typologie des conceptions erronées de MÖLLER et collab. [2007] comme un complément à la typologie de HIRST et collab. [1994]. En fonction des conceptions erronées existant chez l’utilisateur, MÖLLER et collab. [2007] distinguent cinq niveau d’erreurs :
1. le but : l’utilisateur estime que le système peut accomplir une tâche dont il n’est pas capable;
2. la tâche : l’utilisateur ne comprend pas comment atteindre son objectif d’interaction avec le système.
3. la formulation de la commande : l’utilisateur s’exprime avec un vocabulaire ou une grammaire incompréhensibles pour le système;
4. le concept : la modélisation du système est basée sur une vision différente du « monde » de celle de l’utilisateur;
5. la reconnaissance (de la voix ou du texte) : ce type d’erreurs n’est pas contrôlable par l’utilisateur .