Quand l’audition trompe la perception visuelle des mouvements biologiques

Méthodes générales

Les deux expériences de cette étude ont des protocoles expérimentaux relativement proches,cette partie présente les méthodes communes aux deux expériences, les détails spécifiques à chacun en d’entre elles seront décrites au sein de chaque expérience.

Participants

17 sujets (2 femmes) ont pris part aux deux expériences. Tous les sujets étaient droitiers, avaient une vision normale ou corrigée et ne présentaient aucun problème auditif. Ils étaient âgés en moyenne de 28.53 ans (SD=7.99) et étaient tous naïfs au sujet de l’expérience.

Stimuli

Les stimuli visuels sont communs aux deux expériences et sont définis dans cette section. La génération des stimuli sonores de l’expérience audiovisuelle découle directement de la méthode utilisée pour générer les stimuli visuels et sera présentée dans la seconde partie de cette section.
Définition générale des stimuli visuels. Les stimuli visuels sont des points lumineux blancs de 6 mm de diamètre affichés sur un écran sur un fond noir. Le mouvement du point décrit est soit une trajectoire circulaire, soit une trajectoire elliptique. Sa cinématique respecte ou non les mouvements biologiques. Un mouvement visuel est donc défini par une configuration géométrique et une cinématique visuelle (notée VK dans la suite). La configuration géométrique correspond à la géométrie de la trajectoire parcourue (i.e. cercle ou ellipse), tandis que la cinématique visuelle correspond à la façon dont la trajectoire est parcourue, i.e. dans quelles parties de la trajectoire le point lumineux accélère. Deux configurations géométriques ont été considérées.

Stimuli audiovisuels

Les stimuli audiovisuels ont été générés en combinant les 6 stimuli visuels de l’expérience 9 (cf. figure 4.2) avec 3 sons de frottement de synthèse évoquant le son d’une personne dessinant une 110 Chapitre 4 : Voir des cercles, dessiner des ellipses ellipse ou un cercle sur une feuille de papier. Afin de générer les sons, on utilise le même modèle de synthèse physiquement informé que dans les chapitres précédents (Gaver, 1993b; Van Den Doel et al., 2001). Ce modèle qui simule une source sonore résultant d’une succession de micro-impacts d’un excitateur (ici un stylo) sur une surface rugueuse est brièvement rappelé ici. Le son est généré à partir d’un profil de vitesse correspondant à la vitesse tangentielle vt du mouvement du stylo. En pratique la surface est modélisée par un bruit représentant la hauteur des aspérités de la surface.
Ce bruit est ensuite filtré passe-bande avec une fréquence centrale qui varie proportionnellement à la vitesse tangentielle du stylo. Le filtre passe-bande est de type Butterworth avec un facteur de qualité constant de 3 (choisi arbitrairement). Dans le but de rajouter du réalisme, le bruit filtré est convolué par la réponse impulsionnelle d’un objet résonnant (Aramaki et al., 2010). Le mapping entre la fréquence de coupure du filtre et la vitesse tangentielle du filtre est défini par fcptq “ αvtptq où α est un coefficient de proportionnalité constant. Du point de vue perceptif, plus α est grand, plus le son généré sera brillant. Afin de choisir le mapping le plus approprié, son influence sur le geste produit dans une tâche de synchronisation audio-motrice a été évaluée dans une expérience préliminaire décrite en section 4.3 1.Le mapping a donc été fixé arbitrairement à α “ 20.

Appareillage

Les deux expériences se sont déroulées dans le noir dans une cabine audiométrique. Les sujets étaient assis devant un écran d’ordinateur DELL 1907fp dont la résolution était de 1280 x 1024 pixels et devant une tablette graphique Wacom Intuos5. Afin de ne pas voir leurs mains, un cache était disposé au-dessus de la tablette graphique (voir figure 4.4(a)). Dans l’expérience audiovisuelle, les sujets portaient également un casque Sennheiser–HD650 pour la diffusion des sons (voir figure 4.4(b)). Le volume sonore était ajusté afin que le niveau d’écoute soit confortable. L’expérimentateur était présent dans la cabine durant toute la durée de l’expérience afin de contrôler le déclenchement des stimuli visuels et sonores. Les stimuli étaient générés en temps-réel sur un ordinateur iMac par le biais du logiciel Max/MSP. Les stimuli visuels étaient affichés sur l’écran DELL via une interface DVI, le taux de rafraichissement de l’écran était de 60 Hz et le point lumineux blanc était généré en affichant séquentiellement une série de 108 points afin de percevoir un mouvement le plus fluide possible. Les sons étaient présentés avec un taux d’échantillonnage de 44100 Hz. Les mouvements graphiques étaient eux enregistrés par une tablette graphique Wacom Intuos5 avec un taux d’échantillonnage de 129 Hz et une précision spatiale de 5.10´3mm.

Tâche

Les deux expériences ont été réalisées dans le même ordre pour tous les sujets, d’abord l’expérience visuelle et ensuite l’expérience audiovisuelle. Chaque expérience était précédée d’une phase de familiarisation durant laquelle les sujets étaient informés qu’ils allaient devoir synchroniser leurs gestes à l’aide d’un stylet sur une tablette graphique avec les mouvements visuels utilisés dans l’expérience 9 (respectivement audiovisuels dans l’expérience 10). La tâche de familiarisation durait le temps nécessaire pour que les sujets aient bien compris la consigne, ce qui correspondait généralement à deux ou trois essais. Il était demandé aux sujets de synchroniser leurs gestes dans le sens inverse des aiguilles d’une montre pour avoir l’impression qu’ils étaient en train de contrôler euxmême le mouvement du point du lumineux (et du son de frottement dans le cas de l’expérience audiovisuelle). Pour générer le mouvement, il leur était demandé de bloquer leur poignet et de lever leur coude afin d’utiliser uniquement l’articulation épaule-coude dans la génération du mouvement.
Enfin, il leur était demandé de bloquer leur torse et plus précisément leur tronc afin d’éviter que des oscillations posturales influencent le mouvement produit.

Analyse des données

Dans les deux expériences, les enregistrements des productions motrices ont été analysés selon leurs caractéristiques géométriques et temporelles. Les données enregistrées correspondent aux coordonnées du stylet sur la tablette graphique échantillonnées au cours du temps pxn, ynq. 19 cycles complets de mouvements ont été enregistrés à chaque essai. A chaque essai, les sujets avaient besoin d’un certain nombre de cycles pour se synchroniser avec le stimulus visuel ou audio-visuel. Seules 10 périodes, entre la sixième et la seizième période (inclue), ont ainsi été utilisées pour l’analyse des données. Les données brutes ont été lissées afin d’éliminer le bruit numérique lié au taux d’échantillonnage élevé en appliquant un filtre de Savitsky-Golay (Savitzky et Golay, 1964) avec une fenêtre de 43 échantillons et une interpolation du troisième ordre, ce qui est équivalent à un filtrage passebas avec une fréquence de coupure de 8 Hz. De plus, un filtrage passe-haut (Butterworth) avec une fréquence de coupure de 0.2 Hz a été appliqué afin d’éliminer la dérive spatiale des sujets au cours du mouvement. Le centre de gravité des formes dessinées se déplaçait en effet au cours du temps parce que les sujets ne voyaient pas ce qu’ils faisaient.
Afin de déterminer les caractéristiques géométriques de la forme perçue et reproduite, les performances motrices des sujets ont été analysées de la façon suivante. Pour chaque période de chaque essai, l’ellipse qui représente le mieux la trace dessinée a été déterminée en utilisant une méthode classique considérant que le nuage de points pxn, ynq est un ensemble de masses de même poids (Viviani et al., 1997; Goldstein, 1962). En diagonalisant le tenseur d’inertie de ce nuage de points, il est possible de déterminer les caractéristiques géométriques de cette ellipse, i.e. son excentricité, sa taille et son inclinaison. Les valeurs propres sont proportionnelles aux demi grand axe et demi petit axe, les vecteurs propres permettent de déterminer l’inclinaison de l’ellipse. Cette méthode est un moyen efficace pour déterminer l’ellipse qui s’ajuste le mieux au nuage de points au sens des moindres carrés. A partir des demi grands axes et demi petits axes, l’excentricité de l’ellipse a ainsi pu être calculée et moyennée à travers 10 valeurs pour chaque essai.
Les aspects temporels des performances motrices présentent également un intérêt pour remonter au mouvement qui a été perçu. En effet, si notre intérêt principal porte sur la géométrie de la forme qui a été perçue et reproduite, la cinématique du mouvement réalisé peut également nous aider à comprendre d’éventuelles distorsions. Comme on l’a vu en introduction de ce chapitre et dans l’état de l’art, la géométrie d’un mouvement graphique est intimement reliée à sa dynamique. Nous nous sommes donc focalisés sur les différences entre le profil de vitesse du geste produit et le profil de vitesse de la cible visuelle dynamique. Le but de cette comparaison n’est pas d’évaluer la synchronie entre les profils, les sujets pouvant avoir soit de l’avance soit du retard par rapport à la cible visuelle, mais de déterminer si le profil a été bien reproduit dans sa forme 2 . Par ailleurs, les performances motrices des sujets diffèrent en taille et en inclinaison. Il est donc nécessaire de normaliser les profils de vitesse en amplitude avant d’effectuer des comparaisons. Afin d’effectuer une normalisation cohérente entre les sujets, chaque enregistrement pxn, ynq a été normalisé par rapport au périmètre de la forme cible. Enfin, une rotation a été effectuée pour obtenir une ellipse horizontale dont le demi-grand axe est aligné sur l’axe des abscisses pour pouvoir calculer les valeurs du demi-grand et demi-petit axe. Afin de quantifier la différence entre les profils de vitesse des sujets et les profils de vitesse cibles, une distance basée sur une comparaison des spectres des profils a été réalisée. En effet, comparer les spectres permet de s’affranchir d’un éventuel délai temporel positif ou négatif entre les deux profils. La différence entre les spectres est alors calculée en utilisant une distance euclidienne qu’on appellera par la suite distorsion cinématique (KD) :

Statistiques

Dans les deux expériences, des analyses statistiques séparées ont été réalisées en fonction de la géométrie de la trajectoire parcourue (eg), circulaire ou elliptique. Dans l’expérience 9 (visuelle), le plan d’analyse statistique comporte un facteur expérimental, la cinématique visuelle (VK) avec trois modalités. Dans l’expérience 10 (audiovisuelle), le plan d’analyse statistique a deux niveaux : 3 Cinématiques visuelles (VK) x 3 Cinématiques Sonores (AK). Afin d’évaluer les effets de chaque facteur expérimental sur l’excentricité et la distorsion cinématique, des ANOVA à mesures répétées ont été réalisées. Préalablement à ces analyses, nous avons vérifié les pré-requis statistiques de normalité et d’homogénéité des variances de nos échantillons. Chaque effet significatif a été analysé en détail enutilisant un test post-hoc de Newman-Keuls. Le niveau de significativité a été fixé à .05 pour toutes les analyses.

Expérience préliminaire – Couplage audio-moteur

Le but de cette expérience était de déterminer le mapping le plus approprié pour synthétiser les sons de frottement utilisés dans l’expérience audiovisuelle. Cette expérience a été réalisée sur les mêmes sujets que pour les deux autres expériences, et a été réalisée systématiquement avant les deux autres. Afin d’évaluer dans quelle mesure le mapping entre la vitesse tangentielle du mouvement et la fréquence de centrale du filtre passe-bande peut influencer la performance motrice, on a demandé aux sujets de synchroniser leurs mouvements avec des sons de synthèse générés à partir de différents mappings avec les yeux bandés (i.e. en boucle ouverte visuelle). Les stimuli étaient composés de sons de synthèse correspondant soit au cercle soit à l’ellipse définis précédemment (i.e. eak “ 0 ou eak “ .9) et à partir de 3 mappings (α1 “ 10, α2 “ 20, α3 “ 40), les amplitudes de variation des fréquences de coupure sont présentées dans la table 4.2. Les résultats n’ont pas mis en évidence d’influence significative du mapping sur l’excentricité des formes reproduites ni sur le périmètre des formes dessinées par les sujets. (Excentricités – (Cercle) : F(2,32) = 2.350, p = .11 – (Ellipse) : F(2,32) = 1.834, p = .1876 ; Périmètres : (Cercle) : F(2,32) = 3.252, p = .0651 ; (Ellipse) : F(2,32) = 3.009, p = .07634 ; voir Figure 4.5). En se basant sur ces résultats, le mapping α “ 20 a été choisi car c’est celui qui procure le plus grand réalisme par rapport à un vrai son de frottement (suite à des discussions avec les sujets). Une étude spécifique sur l’influence du mapping et sa relation avec les caractéristiques géométriques des performances motrices des sujets dans une même tâche de synchronisation est présentée en annexe 7.2.

Expérience 9 – Couplage visuo-moteur

Dans cette première expérience, le but est d’évaluer si le couplage visuo-moteur en boucle ouverte entre un mouvement graphique et une stimulation visuelle est bien contraint par la covariation entre la vitesse du point lumineux et la courbure de la trajectoire parcourue. Les sujets devaient donc synchroniser leurs gestes avec des stimuli visuels sans voir leurs mains (cf. Figure 4.4(a)). Les sti- muli visuels étaient composés de mouvements circulaires ou elliptiques respectant ou non la loi en puissance 1/3 (cf. Figure 4.2). Au regard des connaissances sur la perception et reproduction des mouvements biologiques, on souhaite ici vérifier l’influence de la dynamique du mouvement visuel sur la géométrie de la trajectoire perçue et reproduite et plus exactement si la cinématique visuelle peut distordre la forme perçue quand elle ne respecte pas un mouvement biologique. Cela a été mis en évidence au niveau de la perception visuelle (Viviani et Stucchi, 1989), et de la perception kinesthésique (Viviani et al., 1997). Viviani et al. (1987) ont également montré ces résultats dans une tâche de couplage kinesthésico-moteur en boucle fermée. Ici on s’intéresse à cette situation dans le cas d’un tracking visuo-moteur en boucle ouverte, situation qui n’a jusqu’alors pas été étudiée à notre connaissance.

Distorsion cinématique

Les analyses de la distorsion cinématique viennent appuyer les résultats précédents sur l’excentricité, en effet, il est clair que la cinématique visuelle a modifié la géométrie des reproductions motrices. La distorsion cinématique nous renseigne elle sur la capacité que les sujets ont eu à reproduire la cinématique du mouvement, indépendamment de la forme et d’un retard par rapport à la cible.
Les résultats mettent en évidence que la cinématique visuelle a significativement affecté cette capacité à reproduire le mouvement pour les deux cercles et les ellipses (Fp2, 32q “ 67.42, p ă .001 et Fp2, 32q “ 204.70, p ă .001 respectivement) et qu’en particulier la distorsion cinématique a été significativement plus grande aussi bien pour les cercles que pour les ellipses dans les situations non-biologiques et dans les situations biologiques, (Newman-Keuls : cercles : p ă .001 pour evk “ .9 et p ă .001 pour evk “ ´.9 ; ellipse : p ă .001 pour evk “ 0 et p ă .001 pour evk “ ´.9). Cela peut donc expliquer pourquoi la géométrie des formes reproduites a été significativement modifiée dans les situations non-biologiques (sauf pour evk “ 0 dans le cas des ellipses), les sujets ont pu essayer d’intégrer à la fois la forme et le mouvement dans leur reproduction, et comme ils ne voyaient pas le geste qu’ils étaient en train de faire, la cinématique a contraint la géométrie de la forme dessinée.

Discussion

Ces résultats viennent donc appuyer notre hypothèse sur l’influence de la cinématique visuelle sur la perception et la reproduction des mouvements biologiques, ils confirment également les différentes études de Viviani sur la perception visuelle (Viviani et Stucchi, 1989) et reproduction en boucle visuelle fermée (Viviani et Mounoud, 1990; Viviani et al., 1987) d’un mouvement.
Cela est particulièrement flagrant dans le cas des trajectoires circulaires parcourues avec une cinématique non-biologique correspondant à une trajectoire elliptique (evk “ .9 et evk “ ´.9), les sujets étant obligés d’accélérer bien que la courbure de la trajectoire reste constante. Leur geste semble donc entrainé à parcourir une trajectoire plus plate que celle qu’ils pensent réaliser. Dans le cas des ellipses, les excentricités ne sont significativement différentes qu’avec la situation evk “ ´.9, i.e. situation où la cinématique visuelle est inversée par rapport à la situation biologique,la vitesse tangentielle du point lumineux augmente au lieu de diminuer dans les parties les plus courbes de la trajectoire et réciproquement. Cependant, l’analyse de la distorsion cinématique met clairement en évidence que, bien que la géométrie de la trajectoire ait été respectée, les sujets ont quand même eu beaucoup plus de mal à suivre le mouvement du point dans les situations non-biologiques.
Ces études viennent également complémenter les études de Paolo Viviani et ses collègues (Viviani et Stucchi, 1989, 1992; Viviani et al., 1997). En effet, bien qu’un tel effet d’une cinématique visuelle sur la perception de la géométrie d’une trajectoire ait déjà été mis en évidence dans de nombreuses expériences, la situation de reproduction en boucle ouverte visuelle n’avait jusqu’alors pas été étudiée.
Cela confirme donc que l’intégration de la géométrie d’un mouvement est contrainte par la relation entre la vitesse du mouvement et la courbure de la trajectoire, et que, pour que la géométrie de la trajectoire soit intégrée de façon optimale, les covariations vitesse/courbure doivent respecter la loi en puissance 1/3.