Approche stochastique

Approche stochastique

Les approches stochastiques de la compréhension du dialogue oral sont la prin- cipale alternative aux méthodes linguistiques à base de grammaires. Les méthodes stochastiques permettent de concevoir des systèmes adaptés aux spécificités de l’oral, facilement évolutifs, et robustes aux erreurs de transcription. Basées sur le choix d’un modèle stochastique, adapté à la tâche visée, et l’appren- tissage automatique de ses paramètres, ces méthodes réduisent les besoins en expertise humaine lors du développement d’applications tout en obtenant des résultats au moins comparables à ceux des méthodes à base de règles. Le modèle théorique qui sous-tend les approches stochastiques de la compréhen- sion est détaillé en 2.2. La section 2.3 s’intéresse à quelques systèmes de référence. L’ap- proche à base de réseaux bayésiens dynamiques, qui a initié les travaux présentés dans ce document, est exposée dans la section 2.4. L’approche stochastique de la compréhension est principalement basée sur le paradigme du canal bruité déjà utilisé pour formaliser le problème de reconnaissance de la pa-role (Jelinek, 1976). Ce paradigme est appliqué au problème de la compréhension sousdeux hypothèses. On remarquera donc d’emblée que la formulation probabiliste du problème de la compréhension de la parole rend complexe une interprétation structurée des requêtes utilisateurs. La première hypothèse permettant l’expression sous forme d’un canal bruité impose la dépendance séquentielle des informations conceptuelles extraites. Or, il est clair que la sémantique d’une phrase présente très souvent des dépendances à long terme entre ses constituants. Les approches développées vont donc aborder ce prob- lème de différentes manières : soit en l’occultant complètement par le biais d’une représen- tation purement « à plat » (qui peut se révéler suffisante pour un grand nombre d’appli- cations), soit en composant différents niveaux de décodage permettant l’emboîtement des unités décodées (et devenant ainsi comparables à des grammaires non-contextuelles sémantiques probabilisées), soit finalement par le biais d’approches composites baséessur une structuration progressive de l’hypothèse.

Un de premiers système basé sur le modèle stochastique présenté en 2.2 est le sys- tème CHRONUS (Conceptual Hidden Representation Of Natural Unconstrained Speech) (Pier- accini et al., 1991). Le décodeur conceptuel sur lequel repose CHRONUS utilise un mod- èle stochastique de type modèle de Markov Caché (Hidden Markov Model, HMM) dont les états représentent les concepts. Les séquences de mots associées à un concept donné sont également modélisées par un processus markovien représenté par un modèle de langage n-grammes conditionné par le concept. Les états du HMM conceptuel sont caractérisés par ces modèles de langage qui utilisent des techniques de repli (Riccardiet al., 1995) permettant d’attribuer des probabilités non nulles aux n-uplets non rencon- trés dans les données observées. Dans le système CHANEL (Kuhn et De Mori, 1995; De Mori, 1998), les règles d’in- terprétation sémantique sont apprises au moyen d’une forêt d’arbres de décision spéci- fiques appelés Arbres de Classification Sémantique (ACS). Contrairement à CHRONUS qui associe une séquence de mots à un concept, chaque ACS examine le message com- plet pour construire une partie de sa représentation sémantique. Chaque noeud d’un ACS est associé à une question binaire portant sur la présence ou non de séquences de mots prédéfinies. Ces questions sont générées et apprises automatiquement à partir de corpus dont les annotations préalables consistent uniquement en la liste des concepts présents dans chaque phrase. La sélection des questions s’appuie sur la maximisation de l’information d’un noeud à l’autre.

Le modèle HUM est un modèle génératif basé sur deux composants stochastiques. Le premier composant, basé sur un modèle de langage sémantique, décide du sens à exprimer – i.e. quoi dire – tandis que le deuxième composant, basé sur un modèle de réalisation lexicale, sélectionne les séquences de mots adaptées à l’expression du sens – i.e. comment le dire. Dans le modèle de langage sémantique, à chaque concept abstrait correspond un réseau de transition probabiliste contenant un état pour chacun de ses composants, un état d’entrée et un état de sortie. Un réseau est complet, autorisant ainsi tous les chemins sémantiques. Les probabilités de transition associées aux arcs du réseau sont obtenues en calculant P