Les méthodes de rendu en images de synthèse

Rendu à base d’images

Les méthodes de rendu en images de synthèse ne cessent de s’améliorer, tant en ce qui concerne les images photoé alistes que les images générées en temps réel. Ces méthodes évoluent toujours avec le soucis d’augmenter d’avantage la sensation d’immersion et de fluidité durant la navigation. Une étape supplémentaire dans le perfectionnement de ces techniques et dans l’augmentation de l’immersion consiste à utiliser directement des photos illustrant une scène réelle et à les introduire dans l’image synthétisée.

C’est dans cette optique que sont apparues les textures 2d appliquées sur des maillages 3d représentant une scène réelle. Pour aller plus loin dans cette direction, l’idée d’utiliser uniquement des photos pour générer de nouvelles images plus réalistes a été posée. Cette nouvelle discipline comprend plusieurs branches, avec des approches radicalement différentes, mais ayant toutes le même objectif.

Certaines méthodes s’orientent vers de la reconstruction géométrique pour réaliser un maillage modélisant une scène réelle puis texturent ce maillage avec les mêmes images ayant servies à la reconstruction.

Cette approche, nommée photogrammétrie, utilise très largement les outils de vision par ordinateur et génèrent des modèles de scènes réelles parfois saisissants de ressemblance. Un tel niveau de détail n’est accessible qu’après une grande quantité de calcul et les techniques réalisant de telles reconstructions sont particulièrement gourmandes en ressources.

Une autre approche du problème consiste à ne pas se baser sur la géométrie de la scène mais juste sur la répartition des images entres elles. Il devient alors possible de générer de nouvelles images intermédiaires de la même scène. Cette démarche, nommée « rendu à base d’images », est déclinée par toute une variété de méthodes, plus ou moins rapides, effectuant un rendu plus ou moins réaliste.

Par abus de langage, le terme « rendu à base d’image » est souvent employé pour désigner l’ensemble des méthodes permettant de générer une nouvelle image d’une scène ou d’un objet à partir de photographies. Il existe enfin une multitude de méthodes hybrides empruntant à la photogrammétrie et au rendu à base d’images leurs avantages respectifs.

Au fil de l’évolution de ces méthodes et du progrès technologique, notamment sur les performances des cartes graphiques, certaines méthodes ont pu s’adapter au traitement de vidéos représentant une scène dynamique plutôt qu’au traitement de scènes statiques. Il est possible de trier ces méthodes en deux catégories.

Celles qui traitent préalablement les vidéos et qui permettent de générer en temps réel des nouvelles images de la scène. Il s’agit alors de playack ou de différé. La seconde catégorie concerne les méthodes capables de traiter les vidéos et de générer de nouvelles vues à la volée. Il est alors question de rendu en direct ou on ine en anglais. Quelle que soit la famille à laquelle une méthode appartient, elle possède nécessairement des caractéristiques communes aux autres méthodes ce qui facilite leur comparaison.

L’un des premiers critères de comparaison est le nombre d’images ou de caméras nécessaires pour le bon fonctionnement de la méthode. Ce nombre de caméras a un impact direct sur la qualité du rendu, la mobilité du système et les temps de calculs. La qualité du rendu et les ressources nécessaires pour y parvenir sont d’ailleurs deux autres caractéristiques concurrentes.

Certaines méthodes admettent des contraintes particulières concernant la position des caméras ou sur le type de matériaux constituant la scène qui génèrent éventuellement des reflets dépendant du point de vue. Enfin, un critère de regroupement évident est l’appartenance à un courant comme la photogrammétrie ou le rendu à base d’images ou bien encore l’aptitude à traiter des vidéos en direct ou en différé.

Nous allons organiser notre état de l’art autour de la comparaison du temps d’exécution des différentes méthodes car parmi tous les critères présentés, nous estimons qu’il est le plus significatif. Nous commencerons donc par les méthodes les plus robustes nécessitant de longs calculs. Ensuite, nous présenterons les méthodes ne fonctionnant qu’après un long prétraitement, parfois manuel, mais permettant ensuite de générer des nouvelles vues de la scène en temps réel..