Rendu temps réel pour écrans autostéréoscopiques

Les écrans 3D

Les écrans 3D sont l’innovation la plus importante depuis l’apparition des écrans couleurs, ces écrans permettent une vision en relief des scènes 3D. Plusieurs types d’écrans sont apparus : écrans stéréoscopiques avec lunettes polarisantes, écrans autostéréoscopiques.
La vision stéréoscopique est une caractéristique de la vision humaine pour percevoir le monde réel. En effet le cerveau humain reçoit deux images 2D différentes mais très proches de la même scène 3D venant de nos deux yeux droit et gauche. Ces deux points de vue différents permettent au cerveau de fusionner les deux images et ainsi reconstruire la composante manquante, c’est à dire la profondeur.
En face des écrans 2D normaux, les deux yeux voient la même image affichée sur l’écran. Bien qu’on aperçoit la profondeur des objets l’un par rapport à l’autre, cette profondeur perçue n’est qu’une profondeur relative entre objets. En effet on ne peut pas voir les objets de la scène en relief, c’est-à-dire en déplaçant notre tête, on voit toujours les même parties de la scène qu’auparavant. Par vision en relief nous faisons référence à l’effet stéréoscopique . Avec des écrans stéréoscopiques, des objets peuvent sortir de l’écran de telle manière que nous pouvons voir leurs différents détails selon notre position. Pour pouvoir voir l’effet stéréoscopique, deux différentes images de la même scène doivent être envoyées aux deux yeux simultanément ; les écrans supportant cette technique s’appellent les écrans stéréoscopiques. Avant de parler des technologies des écrans 3D autostéréoscopiques, nous allons d’abord aborder quelques notions importantes liées à la vision stéréoscopique.

Multivue

Les écrans autostéréoscopiques sont conçus de façon à permettre à plusieurs observateurs de regarder en même temps la scène. Pour réaliser ceci, plusieurs vues de différents angles doivent êtres affichées en même temps pour voir la scène en relief de différents points de vue. Pour chaque vue, l’observateur reçoit deux images différentes : une par son œil droit et l’autre par son œil gauche .
Pour donner une idée sur comment on arrive à afficher plusieurs vues en même temps, nous prenons l’exemple des écrans avec panneau lenticulaire. Dans ce type d’écran une grille régulière de petites lentilles sphériques, chaque lentille recouvre une zone de plusieurs pixels de l’écran, La lumière de chaque sous pixel (rouge, vert et bleu) est déviée par la lentille dans une direction correspondant à une vue parmi les vues possibles (en générale il y a 9 vues). De ce fait, pour chaque vue seulement un sous ensemble de sous-pixels peut être vu .
Cette technique d’affichage de vue repose sur le principe d’entrelacement des images. En effet avant de pouvoir afficher une scène en relief une étape de préparation de vues est nécessaire. Les images correspondant aux différentes vues sont d’abord acquises à partir de caméras calibrées ou bien synthétisées en utilisant des logiciels de rendu spécifiques. Une fois les différentes images acquises, elles sont entrelacées afin de produire une seule grande image affichable directement sur l’écran autostéréoscopique.
Résumons maintenant cet algorithme. Dans l’image finale (Output) chaque pixel est composé de trois sous-pixels (rouge, vert et bleu), chaque sous-pixel appartient à une vue différente, c’est-à-dire selon l’angle de vue donné nous voyons seulement la couleur de l’un des sous-pixels. L’ensemble des sous-pixels vu à partir d’un certain angle (point de vue) constitue une vue parmi les vues possibles (en général 8 ou 9 vues). L’image finale affichable sur l’écran est constituée de sous pixels venant des différentes images correspondant aux différents points de vue.

Post-rendering image warping

William Mark propose une solution pour la génération de nouvelles vues de la scène, étant donné un modèle 3D de la scène. Il insiste sur le fait que la génération d’une image correspondant à un nouveau point de vue se fait en se basant seulement sur deux images de référence correspondant à deux points de vue différents. Cette technique est appelée « warping » (distorsion). Elle est justifiée par le fait que la distorsion des images de référence (warping) est simple en termes de complexité et de temps de calcul comparée au calcul d’un nouveau rendu à partir du modèle 3D de la scène pour chaque nouveau point de vue. Mark utilise un estimateur de mouvement pour trouver les positions des images références qui vont être utilisées pour la génération de plusieurs images correspondant aux nouveaux points de vue.
Cette solution présente plusieurs problèmes que Mark a essayé de résoudre : Le problème de visibilité : l’image de certaines parties de la scène 3D ne peut être calculée en combinant les deux images de référence (trous dus aux parties occultées dans l’une des deux images). Mark a par conséquent développé un algorithme de remplissage de ces trous.
Le problème de reconstruction : Mark propose les étapes suivantes pour faire la reconstruction qui correspond à un nouveau point de vue à partir de deux images de références : Construction de surfaces 3D à partir des images de référence. Projection des surfaces dans l’espace de l’image à afficher. Composition des surfaces projetées pour produire l’image finale.
Le travail de Mark William est plus adapté au rendu de scènes 3D pour des jeux de vidéo où le rendu est effectué au fur et à mesure que le joueur navigue dans la scène. L’estimation des positions des points de vue des images de référence est basée sur l’estimation du mouvement dans la scène. Une fois l’estimation des positions de point de vue de référence faite, les images de référence sont rendues à partir du modèle 3D de la scène. Les images intermédiaires seront calculées à partir de ces images de référence.

Berretty : Le rendu RGBD

Le terme RGBD est la concaténation de RGB + D, où RGB représente les composantes rouge, vert et bleu, D fait référence au terme anglais « depth » qui signifie profondeur. Berretty utilise la notion d’image 2.5D : couleur + profondeur. L’information sur la profondeur peut être exprimée soit comme étant la distance de l’objet par rapport à la caméra, ou bien en termes de parallaxe . Le problème qui se pose est la génération de ces images pour ensuite les entrelacer pour produire une seule image composite affichable sur notre écran autostéréoscopique. A partir d’une seule vue (la vue centrale) au format 2.5D, Berretty propose un algorithme de rendu qui permet de générer les vues manquantes (c’est-à-dire les autres images à entrelacer) en exploitant la disparité calculée à partir de l’information de profondeur fournie par l’algorithmique de rendu.

Image warping et l’anti-aliasing

L’affichage d’une scène à partir d’un nouveau point de vue fait appel à la notion d’image warping qui signifie la déformation d’une image originale afin de produire une nouvelle image. Cela revient à définir une nouvelle relation spatiale entre les points de l’image. L’image warping est une technique de traitement d’image apparue dans les années 60. Le but principal était la correction des distorsions dues à l’utilisation de capteurs des caméras . Le champ d’application de cette technique a connu depuis une grande explosion dans le domaine du graphisme : la génération des effets visuels, imagerie médicale, le plaquage des textures, la vision par ordinateur, etc. L’image warping consiste en trois étapes principales : Reconstruire le signal continu à partir du signal discret (image de référence). Appliquer la déformation voulue (transformation spatiale, projection,. . . ) au signal continu (warping). Faire un pré-filtrage (anti-aliasing) pour réduire la largeur de bande spectrale du signal et l’adapter à sa nouvelle fréquence d’échantillonnage. Ré-échantillonner le signal continu déformé selon la grille de sortie (nouvelle image). L’image warping fait appel à deux notions importantes : transformation spatiale et ré-échantillonnage. Transformations spatiale : C’est la transformation géométrique qui décrit la correspondance entre l’image originale et l’image en sortie (dans notre cas l’image correspondant au nouveau point de vue). Les premiers travaux consistent essentiellement à appliquer ces transformations pour plaquer des textures . Ensuite, avec l’apparition des notions du rendu basé image, l’utilisation du warping est devenue une nécessité pour produire « des images à partir d’images ». Mais l’application de ces transformations peut générer des images échantillonnées irrégulièrement, c’est-à-dire avec des pixels de coordonnées non nécessairement entières. De ce fait un ré-échantillonnage selon le motif de l’écran devient nécessaire . Le ré-échantillonnage : Le ré-échantillonnage contient deux étapes principales : La reconstruction d’image et l’échantillonnage de cette dernière.
Initialement les pixels de l’image ont des positions dont les coordonnées sont entières et sont disposés selon une grille régulière. Mais une fois l’image déformée, le ré-échantillonnage peut générer de nouvelles positions de pixels ayant des coordonnées non entières et n’étant pas disposés selon une grille régulière. Pour faire face à ce problème une étape d’interpolation est nécessaire.
L’anti-aliasing : L’aliasing est un terme utilisé en traitement de signal. Il est utilisé pour décrire les défauts d’images et des artefacts désagréables qui résultent du non-respect du théorème de Shanon . L’aliasing apparait si la fréquence maximale du signal dépasse la moitié de la fréquence d’échantillonnage (la fréquence de Nyquist). Pour diminuer l’effet d’aliasing, le signal original est pré-filtré pour éliminer les hautes fréquences. L’élimination des hautes fréquences se fait en utilisant un filtre passe bas, mais cette solution peut introduire du flou dans l’image (perte de netteté), donc il faut éviter le plus possible cette perte d’information tout en assurant une bonne atténuation des hautes fréquences inutiles. Heckbert présente plusieurs types de filtre utilisés pendant le pré-filtrage.

Table des matières

1 Introduction
2 Les écrans 3D
2.1 Introduction
2.2 La parallaxe d’image
2.3 La profondeur
2.4 Les technologies des écrans autostéréoscopiques
2.5 Multivue
3 Le rendu basé images : Etude théorique
3.1 Introduction
3.2 Post-rendering image warping
3.3 Berretty : Le rendu RGBD
3.3.1 La disparité d’un point par rapport à une caméra
3.3.2 Les occultations
3.3.3 Le ré-échantillonnage
3.4 Image warping et l’anti-aliasing
3.4.1 Introduction
3.4.2 Transformations spatiale
3.4.3 Le ré-échantillonnage
3.4.4 L’anti-aliasing
3.4.5 Etude de cas : Forward mapping
4 Nos travaux
4.1 Problématique et présentation synthétique
4.2 Les méthodes testées : Le rendu classique
4.2.1 Rendu multipasse
4.2.2 Le rendu à une passe utilsant le Geometry Shader
4.3 Les méthodes adaptées : Le rendu basé images
4.3.1 Le 3D warping
4.3.2 La méthode de composition
4.3.3 La version CPU des deux méthodes : 3D warping et composition
4.4 La méthode proposée : Configuration mixte interpolation/composition
4.5 Discussion et commentaires
4.5.1 La qualité
4.5.2 Les performances
4.5.3 Recommandations
5 Conclusion et perspectives
Bibliographie