Schéma de codage proposé à partir de l’annotation manuelle

Télécharger le fichier original (Mémoire de fin d’études)

Environnement PACES

Contexte d’étude

L’enseignement de PACES

La Première Année des Etudes de Santé, dite PACES, est commune aux études de santé toutes orientations comprises (médecine, pharmacie, odontologie et maïeutique). Les enseignements sont donc communs, et sont composés de neuf unités d’enseignement (UE), dont une spécifique par orientation. Le nombre des UE de PACES peut varier selon chaque faculté de médecine. Les disciplines issues de cette unité d’enseignement ne sont pas obligatoirement suivies par tous les étudiants. Seul l’enseignement des ou de l’orientation(s) choisie(s) par l’étudiant devra être suivi. À la fin de cette première année, suite aux concours, un classement est élaboré visant à sélectionner les étudiants autorisés (les 200 premiers étudiants sur les 1600 inscrits) à s’inscrire en deuxième année sur chaque orientation.
L’enseignement universitaire de PACES est structuré en deux semestres, comportant chacun des unités d’enseignements communes aux quatre filières auxquelles s’ajoutent durant le second semestre une unité d’enseignement dite spécifique à chacune des orientations. Le premier semestre est composé de six disciplines réparties sous quatre unités d’enseignements.
Le second semestre est composé de huit disciplines réparties sous cinq unités d’enseignements, dont une regroupe les disciplines de chaque orientation.
Chaque semestre de l’enseignement universitaire de PACES s’achève par un concours. Ces concours sont des épreuves communes portant sur les contenus pédagogiques étudiés pendant le semestre. Au cours du second semestre, les étudiants sont amenés à choisir une ou plusieurs orientations parmi les quatre suivantes : médecine, pharmacie, maïeutique et odontologie.
Chaque étudiant participe au concours correspondant à son ou ses orientation(s) choisie(s).

PACES de Grenoble

La faculté de médecine de Joseph Fourier de Grenoble a mis en place une réforme pédagogique pour la première année (PACES). L’enseignement d’une discipline est structuré par quatre activités d’apprentissage formant une séquence d’apprentissage suivant un système de formation hybride (une partie du travail se fait à distance et l’autre partie en classe) avec une classe inversée (pas de cours magistral, les aspects transmissifs se préparent seul avant le temps passé avec l’enseignant). Chaque discipline est composée de deux à six séquences de quatre semaines, consacrant une semaine pour chaque activité d’apprentissage comme l’illustre la figure 3.1. Chaque discipline est étudiée par un groupe d’étudiants (la promotion est divisée en 8 groupes) pendant une séquence d’apprentissage.
Dans chaque matière, une séquence d’apprentissage se répartit sur quatre semaines :
– La première semaine est consacrée à l’étude des cours. Plusieurs disciplines différentes sont alors étudiées sous forme de cours multimédia animés et sonorisés par des commentaires de l’enseignant sur DVD. Des informations complémentaires sont disponibles sur internet.
– La deuxième semaine est consacrée à la Formulation en Ligne des Questions (FLQ) destinées aux enseignants. Des questions portant exclusivement sur les cours multimédia, étudiés la semaine précédente, sont formulées sur le site internet de la Faculté de Médecine et de Pharmacie de Grenoble. Ces questions s’adressent aux enseignants, et forment la base de l’enseignement de la semaine suivante. Chaque étudiant peut poser autant de questions qu’il le veut, et voter sur les questions posées par les autres étudiants de son groupe. Il ne peut en revanche pas répondre aux questions des autres.
– Cette troisième semaine est dédiée aux Séances d’Enseignement Présentiel Interactif (SEPI), qui est un enseignement explicatif et applicatif en présentiel avec les enseignants.
Chaque disciplinae étudiée au cours de la première semaine donne lieu à une Séance d’Enseignement
Présentiel Interactif. Ces séances sont réalisées en groupe d’étudiants. Elles sont assurées par les enseignants en charge des cours. Ces derniers répondent aux questions posées en ligne par le groupe d’étudiants.
– La quatrième semaine est celle des séances de tutorat, c’est-à-dire l’enseignement applicatif.
Elles sont supervisées par les enseignants de PACES mais aussi par des étudiants tuteurs.
Ces séances permettent de mettre en application les connaissances acquises lors des activités d’apprentissage précédentes par la pratique de questions à choix multiples (QCM). En amont de ces séances de tutorat, les QCM sont rédigées par les tuteurs puis sélectionnées et corrigées par les enseignants. Puis chaque question sélectionnée pour le tutorat est expliquée et commentée par les enseignants à l’ensemble des tuteurs au cours d’une séance de préparation.
Lors de la séance de tutorat, les étudiants répondent aux questions durant quarante minutes, puis les tuteurs les corrigent et les expliquent durant une heure et vingt minutes. Le nombre de questions à choix multiples diffère selon la discipline étudiée. Chaque étudiant peut vérifier individuellement ses notes et son classement par rapport à l’ensemble de la promotion, et il est nécessaire d’être connecté à la plateforme de questions pour pouvoir consulter ses notes.
Ces résultats de tutorat permettent aux élèves d’évaluer leurs performances.

La pédagogie inversée

Au-delà de la simple inversion des activités traditionnelles typiques, la classe inversée a ceci de spécifique qu’elle apporte une véritable nouvelle perspective pédagogique. Lebrun [2015] l’a définit comme suit
L’approche des classes inversées est surtout un changement de paradigme, de mentalités dans les rapports que nous construisons avec les termes « savoir », « apprendre » et « enseigner ». Le concept porte donc sur une grande variété de pratiques, de méthodes et de techniques à la fois relationnelles et techniques.
En effet, la pédagogie inversée offre la possibilité d’effectuer des activités pédagogiques en dehors de la classe notamment par l’intermédiaire des nouvelles technologies numériques.
Des activités de pédagogie classiquement organisées à l’intérieur de la classe et à l’extérieur sont inversées tout en favorisant les interactions entre les enseignants et les apprenants [Nizet & Meyer, 2016]. Les travaux de Mazur [1997] puis d’autres [Bergmann & Sams, 2012], ont remis le concept de classe inversée en avant en proposant des capsules vidéos de leur cours à leurs élèves afin d’apporter un soutien aux élèves qui ne pouvaient pas être présents en classe.
Observant l’intérêt de cette pratique à motiver des élèves pour préparer les leçons (à distance, à domicile) et afin de rendre les cours en présence de l’enseignant (en classe) interactifs, ils ont lancé le concept de « Flipped classroom » 1. Le cours traditionnel conserve sa place classique dans les étapes des activités chronologiques d’apprentissage mais la forme et l’espace/temps dans lequel il s’inscrit est différent. Il est délivré à distance par l’usage de la technologie ce qui permet à l’apprenant d’avoir les moyens d’assister à ce cours en fonction de ses besoins. En effet, le support enregistré lui permet de le suivre autant de fois que souhaité, de revenir sur les points qui posent problème et d’aller plus loin en ayant la possibilité de préparer des questions.
L’applicatif qui est réalisé à distance (devoirs à la maison) se fait en présence de l’enseignant au sein de la classe. Des activités pédagogiques (résolution de problèmes, tâche à effectuer) sont proposées par l’enseignant pour accompagner les étudiants dans l’utilisation des savoirs théoriques. Il s’agit d’un enseignement asynchrone pour un apprentissage synchrone [Villiot- Leclercq et al. , 2012; Lebrun, 2015]. Ce sont donc les temps et les espaces d’enseignement qui sont inversés au profit d’une dynamisation de l’enseignement.
Actuellement, il n’y a pas de vision claire concernant les effets de la pédagogie inversée sur la performance des élèves. Les différentes recherches réalisées sont partagées à ce sujet. Mais, ce concept pédagogique n’est pas sans être contraint par différentes conditions de réussite.
En effet, Nizet & Meyer [2016] expliquent que l’enseignant doit être volontaire pour modifier ses pratiques classiques d’enseignement. Il doit s’inscrire dans une connaissance du processus d’apprentissage et de la pédagogie active centrée sur l’apprenant. De plus, les temps de préparation des cours sont particulièrement plus importants car l’enseignant doit préparer les supports à distance et proposer des activités en présentiel qui soient riches en apports cognitifs.
Par ailleurs, il est nécessaire de prendre en compte que certains étudiants peuvent ne pas faire le travail d’apprentissage à distance, soit parce qu’ils ne seront pas motivés, soit parce qu’ils ne seront pas suffisamment autonomes pour cette réalisation. En effet, cela demande une autonomie pas toujours acquise. Il est utile de bien évaluer les moments où l’apprenant sera apte à aborder seul de nouveaux supports de connaissances. Il s’agit donc d’anticiper
les problèmes pédagogiques à résoudre, d’avoir une approche personnalisée en lien avec les spécificités du milieu et du public dans lesquels l’enseignant doit mettre en place la pédagogie inversée. La structure doit d’ailleurs favoriser son introduction en adoptant une certaine souplesse par rapport à la gestion des groupes qui seront plus actifs. Les moyens techniques doivent être adaptés pour l’ensemble des apprenants et l’équipe enseignante capable de fournir un soutien technique. Enfin, capter l’attention du public nécessite des ressources modernes et de bonne qualité.
Dans le contexte particulier de PACES, Gillois et al. [2013] expliquent dans leurs travaux de recherche qu’avant 2005, à la faculté de Médecine et de Pharmacie de Grenoble, l’enseignement de la première année de médecine ne satisfaisait ni les étudiants, ni les enseignants. En effet, avec la hausse du numerus clausus 2, le nombre d’étudiants en première année de médecine était en croissance constante. Les moyens pour accueillir les étudiants avaient atteint leur limite au niveau de la taille des amphithéâtres, des horaires et du nombre d’enseignants. Ainsi, selon eux, le concours avait fini par ne plus remplir son rôle de formation et la prise en charge des apprenants devenait difficile. Après la réforme de 2009, le dispositif PACES de la faculté de Grenoble est devenu un espace de formation hybride de type classe inversée au sein d’un environnement numérique de travail nommé Medatice 3.

Données

Nous avons considéré l’ensemble des questions posées par les étudiants de PACES de l’université Joseph-Fourier de Grenoble en 2012-2013 sur la plateforme en ligne Medatice. 1608 étudiants étaient inscrits cette année-là, bien que tous n’aient pas posé des questions. Par conséquent, pour chacun des 13 cours, nous avons 2 à 6 ensembles de questions (un par séquence) posées par 429 étudiants (6457 questions en tout) pendant la deuxième semaine de chaque séquence (semaine FLQ). La répartition des questions est inégale (cf Tableau 3.3), avec plus de questions au 1er semestre, en particulier parce que certains étudiants sont obligés d’arrêter à la fin du 1er semestre, en fonction de leurs résultats à l’examen.
Il est important de noter que, dans l’ensemble, seulement un élève sur quatre a posé au moins une question. Ce phénomène pourrait s’expliquer par le fait que les enseignants encouragent les étudiants à voter au lieu de poser des questions (d’un côté pour les forcer à lire les questions posées par les autres élèves, et d’un autre côté pour réduire le nombre de questions qu’ils reçoivent par courriel avant leur séances de questions-réponses). Nous émettons également l’hypothèse que tous les enseignants n’utilisent pas la plateforme en ligne autant qu’ils le devraient, ce qui pourrait expliquer en partie pourquoi de moins en moins d’étudiants posent des questions avec le temps.
En plus des questions, nous avons également accès à un certain nombre d’informations relatives aux 1608 étudiants inscrits. Les variables dont nous disposons pour chaque étudiant et chaque cours sont fournies dans le Tableau 3.4.

Table des matières

1 Introduction 
1.1 Questions de recherche
1.2 Plan
2 Etat de l’art 
2.1 Nature et type de questions posées
2.1.1 Typologies de questions
2.1.2 Limites des typologies de questions existantes pour notre contexte
2.2 Lien entre type de questions et comportement d’apprenant
2.2.1 Lien entre questions et une variable caractéristique de l’apprenant
2.2.2 Applications de fouille de texte et fouille de données
2.2.3 MOOCs, plateformes d’e-learning et forums de discussions
2.2.4 Lien entre vote et caractéristiques des questions et des apprenants
2.3 Synthèse
3 Environnement PACES
3.1 Contexte d’étude
3.1.1 L’enseignement de PACES
3.1.2 PACES de Grenoble
3.1.3 La pédagogie inversée
3.2 Données
4 Schéma de codage de questions
4.1 Une démarche exploratoire ascendante
4.2 Schéma de codage proposé à partir de l’annotation manuelle
4.2.1 Principes d’annotation
4.2.2 Discussion
4.2.3 Utilisabilité du schéma de codage par un tiers
4.3 Similarités entre taxonomies
4.4 Automatisation de taxonomie de questions
4.4.1 Objectif de l’étude
4.4.2 Protocole d’évaluation
4.4.3 Annotation automatique à base de règles d’expert (RE)
4.4.4 Annotateur automatique à base d’approches statistiques
4.4.5 Annotation automatique à base d’approches ensemblistes
4.4.6 Bilan
4.5 Synthèse
5 Lien entre questions posées et comportement des étudiants 
5.1 Comparaison des étudiants Q et NQ
5.1.1 Méthode
5.1.2 Résultats
5.1.3 Discussion
5.2 Caractéristiques des étudiants
5.2.1 Proportion de questions posées
5.2.2 Dynamique des questions posées
5.2.3 Clustering des étudiants selon leur questions
5.2.4 Caractérisation de clusters
5.3 Évolution des questions des étudiants
5.4 Lien entre vote et comportement d’étudiant
5.4.1 Caractéristiques des questions votées
5.4.2 Comparaison des votants vs. non votants
5.4.3 L’impact du vote sur les caractéristiques d’apprentissage
5.4.4 Comparaison de nature de questions posées et votées
5.4.5 Bilan
5.5 Synthèse
6 Vers une prédiction de profils des étudiants en ligne 
6.1 Evaluation de clusters : indices de qualité
6.1.1 Indices inertiels
6.1.2 Indice de Dunn
6.1.3 Indice de Davies-Bouldin
6.1.4 Indice de silhouette
6.2 Différence de qualité intrinsèque des clusters d’une année à l’autre
6.3 Caractéristiques des étudiants d’une année à l’autre
6.4 Amélioration de la qualité du partitionnement
6.5 Synthèse
7 Evaluation auprès des enseignants 
7.1 Organisation de questions
7.1.1 Organisation textuelle
7.1.2 Organisation catégorielle
7.1.3 Organisation mixte
7.2 Méthodologie de l’enquête
7.3 Données et codage
7.4 Analyse de questions
7.5 Analyse de choix d’organisations
7.5.1 Lien entre choix d’organisations et expérience en SEPI
7.6 Synthèse
8 Réplication des processus d’annotation MOOC 
8.1 Contexte GDP
8.2 Schéma de codage de questions de MOOC
8.2.1 Méthode
8.2.2 Résultats
8.3 Similarités entre taxonomies
8.4 Annotation automatique
8.5 Lien entre les questions, l’autorégulation et la réussite
8.5.1 Codage de données
8.5.2 Corrélation et contingence
8.6 Profils des apprenants en termes de performance
8.7 Synthèse
9 Conclusion et perspectives 
A Centroïdes
B Expressions régulières
C WordNet
D Comparaison des clusters 2012 et 2012 sur 2013
E Questionnaire SEPI
F Distribution des variables
G Questionnaire d’autorégulation

Télécharger le rapport complet