La mise en correspondance stéréoscopique

Comment voit-on en relief

La mise en correspondance stéréoscopique

 Modèle de formation des images Modèle sténopé Commençons par présenter le modèle de formation des images classiquement choisi en stéréovision binoculaire. Il s’agit du modèle dit sténopé 3 . Dans ce modèle, le système optique (l’appareil photographique) est caractérisé par son plan image et son centre optique, la distance entre ces deux éléments étant appelée distance focale. On appelle alors scène le demi-espace délimité par le plan image et ne contenant pas le centre optique. La prise de vue est ainsi modélisée : tout point physique de la scène est visible par ce système optique s’il existe une droite (qui modélise la trajectoire du rayon lumineux) reliant sans obstacle le point physique au centre optique. Son image par ce système optique est alors l’intersection de cette droite avec le plan image 4 .

On pourra se reporter à la figure 2.1 pour mieux visualiser le modèle décrit. On utilisera par ailleurs désormais l’anglicisme caméra pour désigner l’appareil photographique. Cadre et champ d’une caméra En pratique, les photographies ont un domaine fini et rectangulaire, appelé cadre de la caméra. Les points physiques de la scène dont la projection sur le plan image est située à l’intérieur du cadre de la caméra forment le champ de la caméra. Les autres points sont dit hors-champ. Sauf mention contraire, nous ne considérons désormais plus que les points physiques du champ de la caméra, et le terme domaine de l’image désignera la restriction du plan image au cadre de la caméra. Notons que le fait d’etre situé dans le champ de la caméra n’assure pas à un point d’etre visible par celle-ci.

Paramètres intrinsèques On munit le plan image d’un repère orthonormé. Son origine est le coin inférieur gauche du cadre de la caméra et les deux axes sont portés par les deux cˆotés issus de l’origine. Appelons point principal le projeté du centre optique sur le plan image. La distance focale et les coordonnées dans le repère précédemment introduit du point principal sont appelées paramètres intrinsèques de la caméra. La donnée des paramètres intrinsèques d’une caméra et de son cadre est suffisante pour en déduire toutes les caractéristiques du système optique étudié. On notera que, dans le cas des caméras réelles, le centre optique se projette généralement sur le centre du cadre 5 , auquel cas on parlera de caméra parfaite. Intensité d’un pixel On distinguera le point physique de la scène M ∈ R 3 , de coordonnées (X,Y,Z) dans un repère donné de l’espace, de sa projection (si elle existe) m ∈ R 2 sur le plan image, de coordonnées (x,y) dans le repère de l’image, que l’on appellera pixel.

Une image I désigne une fonction qui, à tout pixel du cadre de la caméra, associe son intensité, enregistrée par la caméra. L’intensité désigne de manière générique le niveau de gris dans le cas des images en niveaux de gris ou la couleur dans le cas des images couleurs. On choisit comme système de représentation des couleurs le système RGB (red, green, blue). L’image I est donc une fonction, définie sur le domaine rectangulaire Ω ⊂ R 2 , et à valeurs dans R ou dans R 3 . En l’absence de bruit ou d’aberration chromatique et sauf cas particulier (surface réfléchissante, par exemple), l’intensité d’un pixel ne dépend que du point M correspondant, et ne varie donc pas selon le point de vue. 

Géométrie épipolaire et rectification des images

Paire stéréoscopique Supposons maintenant que la scène est photographiée par deux caméras, caractérisées par leur plan image, leur centre optique, leur distance focale et le domaine de leur image. On supposera ce dernier de dimension identique pour les deux caméras. La scène est alors définie comme l’intersection des champs associés aux deux caméras. On impose pour le moment les contraintes suivantes : • les deux centres optiques sont distincts ; • chaque centre optique n’appartient pas à la scène de l’autre caméra ; • on écarte le cas trivial o`u la scène est vide. La première condition élimine le cas d’une simple rotation de la caméra autour de son centre optique.

La seconde évite en particulier que l’une des deux caméras soit visible par l’autre (et notamment que les deux caméras se fassent face). En pratique, les images sont capturées soient par la mˆeme caméra, qui se déplace dans l’espace, soit par deux caméras simultanément. Dans le premier cas, les paramètres intrinsèques de la caméra restent inchangés, mais les objets de la scène peuvent avoir bougé entre deux prises de vue (par exemple : des voitures pour les vues aériennes).

Dans le second cas, les paramètres intrinsèques des deux caméras peuvent ˆetre différents. Droites épipolaires, plan épipolaire Soit M un point de la scène. Les contraintes présentées plus haut assurent que le point M et les deux centres optiques, notés OL et OR, ne peuvent ˆetre alignés, car la droite (OL,OR) ne peut ˆetre dans le champ des deux caméras à la fois. Ils définissent donc un plan, que l’on appelle plan épipolaire associé au point M. Ce plan coupe le plan image de la caméra de gauche selon une droite, appelée droite épipolaire de l’image de gauche associée au point M et notée ℓL(M) et coupe de la mˆeme manière le plan image de la caméra de droite selon la droite épipolaire de l’image de droite associée au point M et notée ℓR(M). Le pixel mL, image du point M par la caméra de gauche, appartient à la droite épipolaire ℓL(M), tandis que l’image mR du point M par la caméra de droite, appartient à la droite épipolaire ℓR(M).

Déplacement fronto-parallèle de la caméra Dans le cas général, pour un point M donné, les droites épipolaires associées ont des directions totalement arbitraires. On va à présent imposer certaines contraintes sur les droites épipolaires et en déduire les conditions nécessaires sur les deux systèmes optiques que cela entraˆıne. On demande dans un premier temps que, pour tout point M, les droites épipolaires soient confondues dans les deux images. Ces droites appartenant chacune au plan image de sa caméra associée, on en déduit que les deux plans image doivent ˆetre confondus.

On souhaite dans un second temps contraindre toutes les droites épipolaires à etre horizontales, c’est-à-dire parallèles à l’axe horizontal du repère de leur image respective. Supposons donc que c’est le cas. Soient M et M′ deux points dont les droites épipolaires ℓ et ℓ ′ (qui sont maintenant les memes dans les deux images) sont distinctes et horizontales, situées dans le plan image commun des deux caméras. Les deux plans épipolaires associés contiennent par définition les centres optiques CL et CR, ils se 36 M • CL • CR • ℓL(M) ℓR(M) IL IR • M′ • mR • m′ R Figure 2.2 – Géométrie épipolaire.

Le plan épipolaire, représenté ici par un triangle plein, est le plan passant par les trois points non alignés CL, M et CR. Il coupe chacun des deux plans images selon une droite, ℓL(M) et ℓR(M), appelées droites épipolaires. Tous les points de la scène appartenant à la droite (MCR) (resp. (MCL)) ont pour projection un point de la droite épipolaire ℓL(M) (resp. ℓR(M)). coupent donc selon la droite (CLCR), appelée baseline. Or, les deux plans épipolaires sont parallèles par hypothèse aux droites épipolaires ℓ et ℓ ′ , d’o`u l’on en conclut que c’est également le cas de leur intersection. La baseline est donc parallèle au plan image commun, ce qui implique que les deux systèmes optiques ont mˆeme distance focale.

On en déduit également que la baseline est parallèle à l’axe horizontal commun du repère de chacune des images. Lorsque les deux caméras sont dans cette configuration particulière, leurs paramètres intrinsèques (distance focale et coordonnées du point principal) sont identiques. On parle alors de déplacement fronto-parallèle de la caméra (cf. figure 2.3). En effet, si la scène est statique, on peut considérer qu’il s’agit de la mˆeme caméra que l’on a translatée selon la direction horizontale du repère associé à son image. Réciproquement, on montre que, lorsque les deux caméras ont mˆemes paramètres intrinsèques et que le repère associé à l’image de droite est la translatée horizontale du repère associé à l’image de gauche, alors les droites épipolaires sont confondues dans les deux images et sont horizontales.