Définir un référent

Définir un référent

Pour une évaluation, qu’elle soit interne, externe ou externe à usage interne, la définition d’un référent est incontournable pour pouvoir comparer ce qui est produit par l’évalué (l’élève) avec ce qui est attendu par l’évaluateur (l’enseignant ou un évaluateur externe). Intrinsèquement à l’évaluation, le contenu de cette dernière doit donc être en cohérence avec ce référent ; c’est une des premières preuves de validité.

La définition du référent pour une évaluation externe n’est pas sans conséquence sur les résultats produits ; Matheron (2012) transpose ainsi la fonction de négociation des évaluations internes développée par Chevallard & Feldmann (1986) aux évaluations externes : « Ce qui est toujours évalué est le degré de conformité des connaissances acquises par des personnes (les évalués) à ce qui est attendu par une institution donnée (celle représentée par les évaluateurs).

Et cette dernière ne s’autorise pas d’elle-même. Quelle est la définition de ce rapport ? Quelles sont les instances qui l’établissent et… à l’issue de quelle négociation ? La fonction centrale de négociation portée par les évaluations est très souvent ignorée. Portant toujours sur les enjeux de savoir, la négociation propre aux évaluations externes s’établit à un autre niveau que celui impliquant le professeur et les élèves dans une classe : elle se joue entre les instances en charge de l’évaluation

et… « la société » ou une partie de celle-ci, et se révèle lors de dysfonctionnements. » Matheron (2012) Un référent défini extérieurement à l’évaluation, dans un cadre didactique et épistémologique, peut-il alors permettre de déterminer le rapport évoqué par Matheron précédemment ? Plus globalement : en quoi un référent didactique et épistémologique permet-il d’étudier les référents des différentes évaluations pour pouvoir ensuite les comparer ?

Permet-il d’observer les différentes transpositions du savoir qui sont en jeu dans la conception de l’évaluation (comme le fait le cadre de TIMSS ou pour garantir certaines validités) ? 28 Travail réalisé au colloque EMF (Espace mathématique francophone) en 2009 dans le cadre du projet spécial 2 dont le thème était : « Évaluations internationales : impacts politiques, curriculaires et place des pays francophones ». 

Nous élargissons nos questions jusqu’alors posées dans le cadre des évaluations externes, aux évaluations en général (les évaluations internes et celles externes à usage interne) puisqu’elles mettent nécessairement en jeu, elles aussi, un référent.

Par conséquent, la définition d’un référent didactique et épistémologique extérieur aux évaluations apparaît comme incontournable et conduit à d’autres questions : comment le définir sur un domaine de savoir donné ? Quels éléments épistémologiques prendre en compte ? Pour quelles exploitations ? Comment prendre en compte les étapes de la transposition didactique dans l’étude de ces évaluations en lien avec le référent ?

Apporter des preuves de validité

Pouvoir s’assurer de la validité d’une évaluation est la préoccupation première de tout évaluateur. Nous avons abordé précédemment la validité de l’évaluation à travers la qualité du référent ; nous revenons désormais sur les différents types de preuves de validité que nous avons retenus et les questionnements qu’ils suscitent : – sur le savoir mathématique, en lien avec la définition du référent et les validités curriculaire et pédagogique :

en quoi les tâches sont-elles représentatives des types de tâches du domaine ? Quelle est la couverture du domaine par ces dernières? Comment les tâches proposées dans l’évaluation reflètent-elles ce qui est prescrit dans les programmes ou ce qui est enseigné ? Le codage de la réponse des évalués permet-il effectivement de refléter les connaissances des élèves ?

Si l’évaluation en comporte, comment les QCM sont-ils construits ? – sur l’activité de l’élève : comment face à la tâche proposée dans l’évaluation, l’élève produit-il une réponse ? Comment prendre en compte, non seulement la réponse produite, mais aussi le raisonnement mis en œuvre ?

Quelle interprétation en donner pour évaluer l’adéquation entre ce que produit l’élève et ce qui est attendu ? – sur des caractéristiques psychométriques : la didactique peut-elle permettre d’interpréter certaines caractéristiques psychométriques d’items, comme des FDI ou des indices de discrimination faibles ? Est-il possible de concevoir une complémentarité entre les approches didactique psychométrique pour garantir la validité d’une évaluation externe ?