Stéréo Corrélation d’Images Numériques

Matrice essentielle

Si m0r appartient au plan rétinien de la caméra 0, alors le point m1r est sur une droite d’équation ax1r + by r1 + c = 0 appelée droite épipolaire. En effet, pour un point fixé sur une image, le point 3D sera défini à profondeur près (sur la droite (M P ) sur la Fig. 3.1). Ainsi, sur le plan rétinien de l’autre caméra (donc avant prise en compte des distorsions), le point appartiendra également à une droite (la droite (m1p1) sur la Fig. 3.1). En notant ts et Rs les paramètres de translation et de rotation de la caméra 0 vers la caméra 1 (les paramètres extrinsèques de la caméra 1 si l’on prend la position et l’orientation de la caméra 0 comme repère de référence).
L’intersection entre une droite épipolaire et la droite reliant les centres des caméras donne l’épipole e0. Le point e1 (resp. e0) est en fait la projection du centre de la caméra de gauche (resp. droite) sur l’image de droite (resp. gauche). Cela est utilisé lors de la recherche de correspondance, la recherche se faisant sur une ligne au lieu de toute une image. e0 et e1 sont les seuls points tels que Fe0 = 0 et F⊤ e1 = 0. Ce dernier résultat implique que F est de rang inférieur ou égal à 2. En pratique, son rang est considéré comme étant égal à 2 [Garcia, 2001].

Rectification d’images

Afin de gagner un temps considérable dans la recherche des stéréo-correspondants, on rectifie les images. Ceci est une opération de transformation de la géométrie épipolaire en une géométrie particulière où les droites épipolaires sont parallèles à l’axe horizontal (cf. Fig. 3.4). Ainsi, la recherche se fait selon une droite épipolaire horizontale commune aux deux images.
F étant connue, les homographies satisfaisant F = H1⊤ F0H0 sont dites compatibles. Le but de la rectification consiste donc à déterminer les coefficients de ces homographies de sorte à ce que les déformations entre images originales et rectifiées soient les plus petites possible.
Remarquons toutefois que, malgré le gain de temps engendré par cette méthode sur la recherche des stéréo-correspondants, rectifier les images revient localement à créer ou supprimer des pixels supplémentaires. Il convient alors de minimiser la création ou la suppression de pixels au travers du choix de l’homographie.

Calibration d’un capteur de Stéréovision

Si l’on a plusieurs caméras, plusieurs calibrations sont possibles. Ici, prenons par exemple deux caméras avec n images de la mire. Pour les paramètres extrinsèques, on obtient, pour toute position de la mire notée k de {1…n}, une matrice T0k de la mire vers la caméra 0 et T1k vers la caméra 1. De plus, on a aussi une matrice Ts de passage de la caméra 0 vers la caméra 1 qui peut se déterminer par Ts = T1k (T0k )−1 (cf. Fig. 3.5).
Remarque : l’idée de ce chapitre est d’effectuer une mesure directement dans le repère monde, ainsi, pour chaque caméra c, les matrices Tck seront utilisées. En revanche, il est important de noter l’existence de Ts car cette dernière est utilisée par les logiciels de stéréovision classique puisqu’en général, le repère choisi est celui de la caméra 0 choisie comme étant celle de référence.
On peut, par exemple, calibrer les caméras une à une de façon indépendante, méthode appelée LIN1 (ce nom de méthode ainsi que les deux qui suivront sont issus de la thèse [Garcia, 2001]). Cependant, pour calculer Ts, quelle position k de la mire considère-t-on ? Divers critères peuvent être proposés. On peut aussi effectuer une méthode appelée LINn où on effectue une minimisation sur l’erreur entre les points de la caméra 1 et ceux déterminés par la caméra 0 et projetés sur 1 via Ts. Ceci nous permet donc d’obtenir la matrice de passage de 0 à 1 en considérant toutes les paires d’images.
Enfin, un autre type de calibration est proposé. La méthode appelée GLOB consiste à minimiser l’écart entre les points x et la fonction projecteur P. Donc, comme pour la méthode LIN1, sauf que l’on additionne les deux écarts, et on considère T0k et Ts.

Reconstruction 3D

Triangulation linéaire

La reconstruction 3D, aussi appelée triangulation, peut aussi être utile pour recons-truire en 3D un ensemble de points formant un objet, et ce, à partir de deux images de l’objet. On se propose donc ici de retrouver les coordonnées 3D d’un point de l’espace à partir des coordonnées sur les images [Besnard, 2010].
Prenons un point X de coordonnées (X, Y, Z)⊤ et deux caméras. Le point dans l’image de gauche m0 est de coordonnées (u0, v0)⊤ et son stéréo-correspondant dans l’image de droite est m1 = (u1, v1)⊤ . Selon le modèle linéaire de caméra, on obtient le point de gauche à partir des coordonnées homogènes de X et des matrices de passage .