MÉTHODOLOGIE D’ANALYSE DE DISPOSITIFS D’ÉVALUATION

FACETTE ÉPISTÉMO-DIDACTIQUE DE LA VALIDITÉ DE CONTENU : EXPLOITATION DE LA PRAXÉOLOGIE DE RÉFÉRENCE

Apporter des preuves de validité didactiques sur le contenu de l’évaluation demande d’abord à ce que, sur un domaine mathématique et un niveau donnés, les savoirs à évaluer soient définis. Par exemple, si l’évaluation vise à évaluer les connaissances des élèves au regard des programmes (comme pour CEDRE), les savoirs à évaluer sont alors définis par rapport aux programmes et donc par rapport aux praxéologies à enseigner.

En situant notre analyse par rapport à l’OM de référence, nous pouvons alors analyser le contenu de l’évaluation au regard des praxéologies à enseigner, mais aussi dégager des caractéristiques des savoirs appris et interroger les praxéologies enseignées. Nous montrons dans cette partie la façon dont nous exploitons les caractéristiques de l’OM de référence pour apporter des preuves de validité, en nous plaçant successivement à deux niveaux d’analyse : localement d’abord, item par item, en réalisant une analyse a priori des tâches selon des éléments didactiques que nous listons dans les premiers paragraphes, puis globalement, sur l’ensemble des items proposés dans l’évaluation.

Facette épistémo-didactique : étude locale du contenu du test 

Analyse a priori des tâches Les éléments que nous retenons pour décrire les tâches de l’évaluation sont ceux qui interviennent usuellement dans le cadre d’une analyse a priori, à savoir : – le caractère outil ou objet du savoir, – les types de tâches, les registres de représentation sémiotique et leur éventuelle congruence, – la ou les techniques(s) attendue(s) en lien avec les éléments technologico-théoriques qui les sous-tendent, – le niveau d’intervention des types de tâches (Castela 2008), défini à partir des niveaux de mise en fonctionnement des connaissances (Robert 1998) et croisant à la fois le niveau de convocation des praxéologies et l’ancienneté des objets de savoir dans l’enseignement (récemment enseignés ou plus anciens, qui ne sont plus enjeu d’enseignement.)

A chaque item de l’évaluation est associé un ou plusieurs types de tâches ; l’analyse a priori est alors menée selon les praxéologies locales définies dans l’OM de référence. Nous prenons en compte les programmes scolaires, plus particulièrement dans les évaluations où l’objectif affiché est d’évaluer les savoirs au regard des programmes et de l’enseignement (toutes les évaluations ne s’appuyant pas sur cette approche curriculaire2 ). L’étude locale que nous menons pour chaque item consiste alors à réaliser une analyse a priori de chacune des tâches ; nous ré-exploitons ensuite cette analyse dans l’étude globale du contenu.

Par conséquent, au regard de la praxéologie de référence et des programmes, l’analyse a priori de chaque tâche permet d’étudier sa pertinence par rapport à l’objectif d’évaluation qui lui est attribué, en lien avec le codage retenu pour le traitement ; il s’agit en particulier de s’assurer que la technique mise en jeu dans la résolution de la tâche correspond bien à l’objectif d’évaluation assigné à la tâche3 . 

Codage de la réponse en question ouverte

Dans les évaluations externes pour lesquelles l’enjeu est plutôt d’établir un bilan des connaissances, la question du codage ne se pose pas de la même façon que pour celles qui ont un objectif de diagnostic. Pour ces dernières, nous proposerons dans le chapitre 6 un modèle d’analyse multidimensionnelle avec un codage des productions prenant en compte les techniques et les technologies mises en jeu par les élèves et la recherche des cohérences de fonctionnement.

Procéder de cette façon serait aussi intéressant pour établir un bilan ciblé des savoirs mobilisés par des élèves en fonction des techniques apprises à un niveau scolaire donné sur des évaluations externes. Il serait alors nécessaire, pour pouvoir déterminer des cohérences de fonctionnement, d’avoir un nombre suffisant d’items appartenant à un même domaine et traités par un même élève pour pouvoir appliquer directement un modèle tel que nous le définirons ou alors il faudrait inférer d’abord à l’aide d’un modèle probabiliste la technique privilégiée par l’élève et ensuite appliquer le modèle didactique d’analyse.

Dans tous les cas, l’intérêt de coder la technique en plus de la réponse est indéniable, mais n’est pas encore prévu dans les évaluations CEDRE. Dans de telles évaluations, le codage des questions ouvertes est binaire : soit la réponse est exacte, soit elle est fausse. Non seulement la technique mise en œuvre par l’élève pour produire sa réponse n’est pas prise en compte mais, dans la résolution de problèmes, on ne distingue pas non plus les erreurs qui relèvent du choix du modèle de celles qui relèvent du calcul.

Il est donc clair que l’on n’observe pas si la réponse est obtenue par une technique attendue à un niveau scolaire donné ou par une technique non attendue. Si ces distinctions sont nécessaires pour la conception d’un modèle diagnostique, elles pourraient l’être tout autant dans le cas d’une évaluation bilan comme CEDRE et conduiraient certainement à repenser les scores de réussite.