Introduction à la représentation matricielle

Origines, principes fonctionnels et techniques

Avant de présenter les principes théoriques et fonctionnels de cette nouvelle approche, il est intéressant de montrer les origines de la décomposition matricielle de l’espace, et les concepts qui y sont rattachés. Notamment pour mettre en évidence certaines spécificités liées à ces concepts. Comme présenté précédemment, les approches plus classiques de la spatialisation, au sens physique du terme, s’évertuent à démontrer une cohérence sur un plan acoustique avec les modèles de propagation des ondes et/ou sur un plan psychoacoustique liés à notre perception des sons dans l’espace235. Quant à elles, les expérimentations réalisées dans le domaine des harmoniques sphériques ont permis de définir, ou plutôt d’ajouter, de nouvelles aspirations. Ces nouvelles exigences vis-à-vis du modèle de spatialisation amènent à combiner les approches acoustiques et psychoacoustiques avec des considérations porteuses de sens, sur un plan compositionnel. L’approche matricielle de l’espace est construite sur l’idée de pixel sonore et sur le Pixel Art. L’enjeu en revenant sur ces concepts est de mettre en exergue le potentiel créatif du modèle de spatialisation et de définir comment ces idées de bases amènent à 234 Et cependant, bon nombre des possibilités de cette approche ne devront être qu’évoquées malgré tout. 235 La première partie de cette thèse en est l’exemple. Introduction à la représentation matricielle 233 concevoir de nouveaux traitements de l’espace et du son. Mais aussi de se demander comment les musiciens et compositeurs peuvent considérer et s’approprier ce modèle et la représentation de l’espace qui en découle. Cela soulève aussi d’ores et déjà, des questions pragmatiques liées à l’utilisabilité du système.

Origines et l’approche

Le terme de pixel provient de l’assemblage des mots anglais picture et element signifiant élément d’image. Les premières publications à ce sujet remontent à 1975 par F. C. Billingsley [Lyon, 2006], mais l’utilisation du pixel remonte bien avant, dans le domaine du traitement d’image et vidéo. Ce terme désigne l’élément fondamental utilisé dans les images numériques matricielles236, et correspond à la plus petite unité qu’un ordinateur puisse dessiner. Le pixel est généralement associé à un petit carré comportant des informations colorimétriques telles que des niveaux de gris ou des niveaux couleurs – généralement le rouge, le vert, le bleu et possiblement l’alpha selon les formats d’image. Ces couleurs sont liées à des informations de position, qui en image matricielle sont généralement définis sous la forme d’indices tels que des indices de ligne et de colonne. L’ensemble de ces petits carrés de couleurs positionnés les uns à côté des autres selon leurs informations spatiales, permet de représenter dans leur globalité une image cohérente237 [Figure 7.1]. Figure 7.1. Image de l’icône du logiciel Pure Data avec un zoom sur une petite partie de l’image afin de mettre en évidence un ensemble de pixels.

Spécificité de l’approche

En passant du visuel au sonore, un peu d’imagination amène à concevoir un système qui, par analogie au pixel, est construit autour d’un élément sonore de base, appelé soxel : la contraction de sound et element. A ces soxels sont liées des informations de positionnement dans l’espace. Un ensemble de soxels peut alors être regroupé dans une matrice, afin de représenter un espace 236 Il existe d’autres types d’images numériques telles que les images vectorielles. 237 Non pas au sens figuratif mais dans l’idée de préserver la cohérence de l’image en elle, que les éléments de l’image restent bien positionnés les uns par rapport aux autres. 234 sonore. De ce concept, plusieurs éléments fondamentaux liés aux usages des pixels et à la pratique du Pixel Art, paraissent particulièrement intéressants pour une projection du son dans des éléments matriciels associés à l’espace, tant sur un plan concret et technique que sur un plan idéel relatif aux usages et à l’inspiration :  L’image matricielle, lorsqu’elle représente une vue du dessus d’un espace, offre une représentation simple et familière où chaque pixel correspond à une zone aisément définissable. Cette approche de l’espace peut être comparée au quadrillage d’un plan où chaque case compoterait son lot d’informations : la case A1 contient les Arènes de Lutèce, la case A2 le campus de Jussieu, …, la case C3 contient la Grande Mosquée de Paris, etc. Une telle représentation de l’espace peut être aisément comprise et assimilée par les musiciens et compositeurs notamment, comparé à la complexité de la représentation de l’espace sous la forme d’harmoniques circulaires ou sphériques.  Il est implicitement admis que le nombre de pixels utilisés en Pixel Art est très limité et peut même être réduit à des matrices de 16×16 ou même 8×8. En partie pour l’enjeu et le défi de créer avec si peu d’éléments mais surtout pour son aspect nostalgique, car cette approche résulte une certaine esthétique liée aux images numériques des années 80 et 90. Bien que dans la pratique, il n’existe aucune règle stricte à ce sujet, cette caractéristique du Pixel Art est une des principales raisons de sa popularité. Il ne s’agit nullement de réaliser une analogie avec le domaine de la spatialisation du son, car seules des musiques échantillonnées en 8-bits pourraient a priori espérer provoquer une nostalgie similaire à une image de 8×8 pixels. Mais l’idée est, qu’une fois transposée dans un contexte sonore, il soit aussi possible de restreindre les approches à un petit nombre de soxels, tout en offrant suffisamment d’éléments pour que le résultat soit pertinent238. L’enjeu caché derrière cette affirmation réside dans la conjecture que les traitements sonores utilisés dans un espace matriciel peuvent très rapidement dépasser les limites de calculs des ordinateurs personnels courants. En effet, en considérant une petite matrice de 8×8 équivalent à 64 soxels et en présupposant qu’à chaque soxel est associé un traitement du son dont la complexité des calculs est analogue à ceux mis en œuvre dans le cadre des expérimentations en ambisonie, cela revient à mettre en œuvre un traitement dans le domaine des harmoniques sphériques à l’ordre de décomposition 238 Il est, bien entendu, encore trop tôt pour définir si cette hypothèse est validée, mais les exemples concrets valideront, par la suite, cette proposition. 235 7. Ce qui, par expérience, est excessivement coûteux en terme de calculs et peut ne pas être supporté par des ordinateurs personnels.  Avec l’arrivé des moteurs graphiques 3D, le pixel a été augmenté d’une troisième dimension spatiale, pour donner le voxel [Hughes & al., 2013] où la syllabe pi a été remplacée par la syllabe vo pour volume. Le voxel permet de stocker des informations colorimétriques associées à des informations spatiales tridimensionnelles qui donnent la possibilité de définir la notion de profondeur239. Cette extension du procédé a elle aussi amené à un certain nombre de pratiques et d’usages qui ont été très rapidement pris en main et acceptés. La construction d’espace peut être réalisée par blocs, de façon très simple et ressemblant fortement à l’utilisation de briques de Lego dont l’exemple de popularité le plus marquant est le jeu Minecraft, développé initialement de manière indépendante par Markus Persson240. Ainsi, il est fortement envisageable que l’extension des soxels à une troisième dimension spatiale soit réalisable. Surtout qu’elle implique, elle aussi, de nouvelles approches.  Enfin une des propriétés les plus importantes de cette représentation de l’espace réside dans le nombre d’opérations matricielles disponibles et la simplicité de leur formulation sur un plan algébrique. En élaborant des approches fondées sur les calculs matriciels, il est aisément possible d’envisager toute une série d’opérations, au même titre que le sont la rotation, la distorsion de la perspective, ou encore la focalisation dans le domaine des harmoniques sphériques. Bon nombre d’entre elles sont relativement simples, et leurs propriétés dans le domaine des traitements de l’espace et du son peuvent être clairement présupposées, telles que l’addition, la soustraction, la transposition de matrices ou encore la multiplication de matrices par un scalaire. D’autres peuvent quant à elles, être de véritables champs d’expérimentations telles que l’inversion de matrices, la réduction de matrices ou encore l’application de matrices de convolution utilisées en traitement de l’image pour générer des flous, ou encore effectuer de la détection de contours, etc.241 239 Ou de hauteur si les pixels étaient associés à une vue du dessus. 240 Le jeu est aujourd’hui distribué par plusieurs plateformes et compte plus de cent millions d’utilisateurs. Plus d’informations sont disponibles sur le ce site consulté en juin 2017 http://minecraftfr.gamepedia.com/Minecraft_Wiki. 241 Certains de ces différents procédés sont étudiés plus en profondeurs par la suite. 236 Mettre en œuvre un système des traitements de l’espace et du son fondé sur l’idée de soxels et à une représentation matricielle de l’espace, implique de définir le fonctionnement intrinsèque de ce modèle de décomposition de l’espace. A partir de ces principes et en utilisant les observations et les notions développées précédemment dans l’approche ambisonique, il est possible de définir une série de spécifications fonctionnelles nécessaires à l’orientation et la mise en œuvre des outils.

Les matrices mathématiques

Une matrice équivaut à un tableau à deux dimensions au sens informatique du terme. Elle est caractérisée par une taille définie en nombre de lignes 𝐿 multipliée par un nombre de colonnes 𝑀 qui est usuellement noté 𝐿 × 𝑀 en mathématique, car il y a 𝐿 éléments correspondant au nombre de lignes dans une colonne, et 𝑀 éléments correspondant au nombre de colonnes dans une ligne résultant en un nombre total de 𝐿 × 𝑀 éléments au sein de la matrice [Tableau 7.1]. En mathématiques, la taille de la matrice est aussi fréquemment appelée dimension, mais pour des raisons évidentes de confusion avec les dimensions spatiales, ce terme sera évité. Matrice 𝐿 × 𝑀 𝐸𝑙 𝑚 M colonnes → L lignes ↓ 𝐸0, 0 𝐸0 1 𝐸0 2 𝐸0 3 𝐸1 0 𝐸1 1 𝐸1 2 𝐸1 3 𝐸2 0 𝐸2 1 𝐸2 2 𝐸2 3 𝐸3 0 𝐸3 1 𝐸3 2 𝐸3 3 Tableau 7.1. Représentation de l’organisation des éléments d’une matrice de taille 𝐿 × 𝑀. Dans un espace cartésien, afin de rester cohérent avec les représentations mathématiques des matrices, l’approche définit de manière arbitraire qu’une ligne est parallèle à l’axe des abscisses et qu’une colonne est parallèle à l’axe des ordonnées. Chaque élément d’une matrice est associé à deux indices 𝑙 et 𝑚, qui définissent sa position au sein de celle-ci, et qui correspondent à son indice dans une ligne et son indice dans une colonne. En présupposant une extension du système à une troisième dimension spatiale, la matrice est remplacée par un tableau à trois dimensions. 237 La nouvelle dimension possède une taille notée 𝑁 et est parallèle à l’axe de la côte – la hauteur – et l’élément d’un tableau possède alors un troisième indice 𝑛 caractérisant la position dans cette dernière dimension.