Étude exploratoire des justifications en langage naturel

 Étude exploratoire des justifications en langage naturel

Afin d’améliorer le diagnostic automatique des réponses aux questions ouvertes de Pépite, nous nous sommes posés la question du traitement des productions spontanées d’élèves faisant éventuellement intervenir le langage naturel. De fait, dépassant le cadre même de ce projet, l’analyse des réponses d’élèves exprimées dans leurs propres mots est un verrou sur lequel butent de nombreux projets de e-learning [Aleven et al. 2003 Rosé et al. 2003].

Beaucoup de travaux s’intéressent à l’analyse automatique des explications produites en langage naturel et des interactions verbales d’étudiants (avec des pairs, avec l’enseignant) ou se centrent sur l’utilisation de modèles linguistiques dans la conception de logiciels d’apprentissage. Comment prendre en compte la diversité des productions spontanées d’élèves « dans leurs propres mots » dans une analyse informatisée ?

En quoi la nature de ces productions peut-elle nous informer sur les apprentissages ou leurs dysfonctionnements ? Pour les didacticiens des mathématiques de notre équipe, il s’avère néanmoins indispensable de recueillir des réponses où les élèves s’expriment dans leurs propres termes, même si le logiciel n’est pas capable à ce jour d’en faire une analyse automatique complète et fiable.

Nous avons dès lors mis à profit les compétences Axe diagnostic page 28 AD 22 Rapport fin de projet École et sciences cognitives : Les apprentissages et leurs dysfonctionnements d’une chercheure en linguistique au sein de notre équipe (Sylvie Normand) pour amorcer une étude apportant des éléments de réponses aux questions posées ci-dessus, dans le contexte spécifique du logiciel Pépite.

Le deuxième exercice de Pépite Cette étude se base sur l’analyse des productions en réponse au deuxième exercice de Pépite, qui peut amener la production d’un discours d’élève en langage « mathurel » pour justifier sa réponse. Par mathurel, nous entendons langage utilisé par les élèves, mélangeant le langage naturel et l’emploi de termes spécifiques aux mathématiques [Rasseneur et al. 2002].

Niveau de rationnalité, preuve par… Type de justifications Registre Exemples de justification d’élèves en réponse à la première question de l’exercice 2 Exemple numérique Essayer avec un ou plusieurs nombres numérique 2 ×2² = 32 Formel scolaire Donner une règle formelle scolaire langage mathurel “On ne doit pas multiplier les exposants” “C’est une loi fondamentale” Explication Donner des explications langage mathurel “c’est vrai car les exposants sont additionnés” algèbre Donner une règle correcte ou une définition algébrique a² a³ = a2+3 an ap = an× p langage mathurel

Le produit de deux nombres identiques à exposants différents est ce même nombre mais avec leurs exposants ajoutés tous deux, donc a puissance 2+3 Tableau 4. Analyse (humaine) de justifications d’élèves associées à l’égalité “a2 * a3 = a5” [Grugeon 1995] Le type de tâche retenue porte dès lors sur « valider ou invalider l’égalité de deux expressions algébriques par l’assertion vrai/faux puis justifier cette assertion », correspondant à l’exercice 2 cité ci-dessus (fig. 2).

Cet exercice est constitué de trois questions, et pour chaque question, la réponse de l’élève est composée d’un choix (vrai/faux) et d’une justification (correspondant aux arguments donnés pour justifier le choix vrai/faux). Le tableau 4 montre une partie de l’analyse didactique pré-existante des justifications produites par les élèves sur cet exercice.

Dans cette analyse didactique pour détecter que les étudiants s’appuient sur des arguments de Axe diagnostic page 29 AD 22 Rapport fin de projet École et sciences cognitives : Les apprentissages et leurs dysfonctionnements l’autorité scolaire, on relève des expressions : « il faut », « on doit », « on ne peut pas » ou aussi des règles fausses.

En d’autres termes, il s’agit pour ces élèves de respecter des règles formelles, apparemment dénuées de sens pour eux. Cette première classification semblait suffisante pour le diagnostic humain, mais manquait de précision pour être utilisée de façon systématique par un système informatique.