Admin CliCours
Réordonnancement de candidats reponses pour un
système de questions-réponses
Etude de différentes méthodes applicables pour le réordonnancement
Si certaines des approches présentées dans cette section ne sont pas utilisées dans des modules de réordonnancement (re-ranking) à proprement parler, elles ont toutes en commun d’appliquer des méthodes assez fines de calcul de score, contrairement à celles utilisées pour extraire les documents ou passages. C’est ce type de méthodes que nous voulons utiliser dans notre module de réordonnancement. Nous nous intéressons donc aussi à des approches de sélection et extractions de réponses, et à des approches d’implication textuelles. Pour chaque méthode présentée, nous motivons son étude par rapport à nos objectifs et à notre contexte de travail. Nous détaillons aussi le système de questions-réponses associé. Nous estimons en effet qu’il est important de comprendre le contexte d’application pour présenter l’approche utilisée. Enfin, nous concluons sur les caractéristiques de la méthode, et son intérêt pour un module de réordonnancement. Par ailleurs, certaines de ces approches s’appuient sur un formalisme spécifique de représentation des documents qui est détaillé plus loin dans la section 3.2
Utilisation de dépendances syntaxiques dans le cadre du web : le système FIDJI
FIDJI [Tannier & Moriceau ] est un système de questions-réponses développé au LIMSI au sein du groupe ILES. A l’origine, le système avait été défini pour traiter des collections de documents propres, comme des documents journalistiques. Ce système (tout comme Ritel) participe à la tâche questions-réponses du projet Quaero [Quintard et al. ], que nous décrivons plus loin dans ce document (chapitre 6). Cette tâche a pour objectif d’évaluer les systèmes participants sur un corpus de très grande taille (2 millions de documents) extrait du web par le biais d’un moteur de recherche. Les documents tirés du web amènent des caractéristiques assez particulières, que les systèmes doivent prendre en compte pour être performants sur ce type de collection. L’objectif de FIDJI est de mettre au point une approche efficace ne reposant pas sur des ressources sémantiques, et avec un minimum de pré-traitements effectués sur les documents. FIDJI traite deux types de questions : factuelles et complexes (pourquoi et comment). Dans cette section, nous ne décrivons que la méthode utilisée pour résoudre les questions factuelles. FIDJI n’inclut pas de module de réordonnancement. Par contre, l’approche employée pour l’extraction des réponses candidates nous semble intéressante car elle s’appuie sur des dépendances syntaxiques, représentant ainsi l’organisation structurelle des phrases et des questions. De plus, cette approche est appliquée dans le contexte du web, où la variabilité de la structure des phrases des documents est très différente de celle de documents journalistiques. Nous expliquons d’abord le fonctionnement général du système de questions-réponses, avant de détailler la méthode d’extraction des réponses. Le corpus de document est indexé par le moteur de recherche Lucene [Apache 07]. La sélection des documents est effectué en créant une requête composée des mots clefs de la question. Les 0 premiers documents sont alors analysés syntaxiquement par XIP [Aït-Mokhtar, et al. 02]. XIP fournit les dépendances syntaxiques des phrases des documents. Les entités nommées sont elles aussi annotées par XIP. Le même traitement est effectué sur la question. FIDJI va ensuite sélectionner les phrases contenant le plus de dépendances syntaxiques de la question traitée. Enfin, la réponse est extraite à partir des dépendances syntaxiques de la phrase, du type de la question et du type attendu de la réponse. L’exemple ci-dessous explique comment se déroule l’extraction de la réponse. Pour la question, Quel premier ministre s’est suicidé en 93 ?, 5 dépendances syntaxiques ont été identifiées par XIP : – DATE(93) – PERSONNE(réponse), – SUJET(se suicider, réponse), – attribut(réponse, ministre), – attribut(ministre, premier). La question est de type factuelle, et le type de la réponse attendue est personne, avec comme type spécifique premier ministre. Dans cet exemple, la phrase avec le plus de dépendances syntaxiques est la suivante : Pierre Bérégovoy s’est suicidé en 93., avec comme dépendances DATE(93),(Pierre Bérégovoy), et SUJET(se suicider, Pierre Bérégovoy). Pierre Bérégovoy instancie l’élément réponse de la question, et le système identifie alors les dépendances de la question validées. Dans ce cas, les trois premières dépendances sont validées. Le système va alors chercher les dépendances manquantes dans une phrase de la collection de document (par exemple le premier ministre Pierre Bérégovoy). Le système a obtenu de bons résultats sur l’évaluation 09 Quaero pour les questions factuelles en se classant second, avec un MRR de 0.37 et une précision de 33.0%, le meilleur résultat étant de 0.54 et 50.2%. On peut aussi noter que les résultats obtenus sur les questions pourquoi et comment sont bons : le MRR obtenu est respectivement de 0.32 et 0.49, le second meilleur système obtenant 0. et 0.. Ces résultats montrent qu’une approche utilisant des dépendances syntaxiques est applicable sur des documents autres que des sources journalistiques. Il est donc possible d’utiliser des dépendances syntaxiques pour un module de réordonnancement. Par contre, l’analyseur XIP [Aït-Mokhtar et al. 02] n’est pas adapté pour traiter des documents de l’oral. Ainsi, si les dépendances syntaxiques semblent pertinentes pour le réordonnancement, il semble nécessaire d’avoir une approche adaptée à l’oral.
Utilisation de dépendances syntaxiques et de méthode par apprentissage pour des transcriptions orales : le système de l’UPC
Le système de l’UPC [Comas et al. ](Université Polytechnique de Catalogne) a été conçu pour travailler sur des transcriptions orales, et a par ailleurs participé aux différentes campagnes de l’évaluation QAst [Turmo et al. 08 ; Turmo et al. 09]. Etant donné les caractéristiques de l’oral, les auteurs ont choisi de s’appuyer sur un analyseur syntaxique et sémantique développé au sein de l’UPC [Lluis, et al. 09]. Seules les relations syntaxiques fournies par cet analyseur sont utilisées. En effet, l’analyseur n’est pas totalement adapté à l’oral. Les auteurs ont ainsi fait le choix d’extraire les caractéristiques robustes : l’information sémantique délivrée par l’analyseur n’est pas utilisée, et seules certaines informations syntaxiques sont reprises (principalement les dépendances syntaxiques). Ce système traite deux langues, l’espagnol et l’anglais. L’intérêt du système de l’UPC par rapport à notre travail est multiple. Deux différentes méthodes de réordonnancement sont comparées sur un ensemble de questions de la campagne QAst 09. L’une des deux méthodes s’appuie sur les dépendances syntaxiques fournies par l’analyseur de l’UPC. Par ailleurs, ces méthodes sont évaluées dans le cadre de l’oral, ce qui permet d’observer leur robustesse par rapport à des documents transcrits de l’oral. Le système de l’UPC utilise une architecture classique pour un système de questions-réponses. Le type de la question est d’abord détecté à partir d’un classifieur Perceptron utilisant des traits lexicaux, sémantiques et syntaxiques. A partir du type de la question, le système interroge à l’aide d’un moteur de recherche la base de documents et récupère un ensemble de passages candidats. L’extraction des réponses s’appuie sur un ensemble d’heuristiques évaluant les passages hypothèses selon les caractéristiques suivantes : les chaînes de mots équivalentes, les ponctuations, le nombre de mots de la question suivant le candidat réponse, les mots de la question trouvés dans la même phrase que le candidat réponse et dans son contexte, la distance la plus élevée en mots entre deux mots de la question, et enfin la distance entre le focus de la question et la réponse candidate. Ces heuristiques sont transformées en un score dont chaque composante a un poids assigné à partir d’un paramétrage manuel effectué en fonction de la collection de documents. A partir de cette architecture, les auteurs ont ajouté un module de réordonnancement prenant en entrée les candidats réponses. Ce module s’appuie sur un classifieur dont l’objectif est de déterminer si un candidat réponse répond ou non à la question. Le classifieur utilise un modèle généré par SVM à partir d’un corpus de développement pour déterminer si une réponse candidate est positive ou négative. Les valeurs retournées par les heuristiques sont converties en caractéristiques binaires qui sont ensuite utilisées comme traits par le classifieur. En plus des valeurs des heuristiques, les auteurs fournissent aussi au classifieur les valeurs (elles aussi binarisées) suivantes : le score total obtenu lors de l’extraction des réponses, le rang de la réponse candidate, la redondance de cette réponse, le type de l’entité nommée, et enfin le nombre de mots-clefs dans la question. La dernière approche réutilise le même classifieur en ajoutant de nouveaux traits. Ces traits sont définis en s’appuyant sur les dépendances syntaxiques produites par l’analyseur utilisé par l’UPC. L’idée est de prendre les chemins de dépendances entre chaque mot-clef de la question et le marqueur interrogatif, et de les comparer avec ceux existant dans le passage candidat, cette fois entre les mots-clefs présents et la réponse candidate. Ces chemins sont au préalable simplifiés en enlevant certaines dépendances fréquentes : modifieurs de nom, prépositions, adverbes … Par ailleurs, les verbes contingents sont réunis. En comparant ces chemins l’idée est d’identifier les mots-clefs proches d’une réponse candidate mais qui ne sont pas en relation, et au contraire valider les mots-clefs éloignés mais reliés syntaxiquement. A partir de cette hypothèse, les auteurs introduisent les traits suivants : le nombre de mots-clefs en relation avec la réponse et le ratio par rapport au nombre total, les distances en nombre de relations entre les mots-clefs et la réponse candidate, la longueur du plus long chemin équivalent entre la question et le passage candidat pour chaque mots-clefs, le ratio par rapport à la taille du chemin de la question, le maximum, le minimum et la moyenne, le nombre de dépendances à insérer pour obtenir des chemins équivalents pour chaque mots-clefs ainsi que la somme pour chaque type, et enfin la somme des dépendances dans le plus long chemin équivalent de chaque mots-clefs. Là aussi, les valeurs sont binarisées. L’exemple 3.2 illustre le fonctionnement de cette approche. La question “Where was Tenzin Delek arrested ?” est annoté avec des dépendances syntaxiques, ainsi que le passage “The case of Tenzin Delek Rinpoche was raised with me by several of my constituents in Scotland”. Scotland est une des réponses candidates proposées par les heuristiques. Le label ROOT correspond au verbe principal de la phrase et de la question, qui est ensuite transformé en VC (VC correspond à Verbal Chunk, un groupe verbal). Le chemin entre le candidat réponse et l’élément de la question Tenzin Delek est simplifié en enlevant certains labels fréquents, comme les modifieurs de nom par exemple. En comparant le chemin simplifié de la question avec celui du passage, on peut voir que ce dernier contient une relation LGS supplémentaire. Cette dépendance représente le sujet logique d’un verbe à la forme passive. Cela signifie que Scotland modifie une phrase nominale qui a une relation syntaxique avec le verbe principal qui n’est pas un modifieur de lieu. De ce fait, Scotland n’est pas forcément un lieu associé à Tenzin Delek.
Introduction |
