[Home bibliotech]
Home > Les thèses en ligne de l'INP

Contributions pour les applications de réalité augmentée. Suivi visuel et recalage 2D. Suivi d'objets 3D représentés par des modèles par points

Dehais, Christophe (2008) Contributions pour les applications de réalité augmentée. Suivi visuel et recalage 2D. Suivi d'objets 3D représentés par des modèles par points. (Contributions to Augmented Reality applications. Visual tracking and 2D registration. 3D object tracking using point-based models.)

Full text available as:

PDF - Requires a PDF viewer such as GSview, Xpdf or Adobe Acrobat Reader
4.92 Mo

Abstract

Cette thèse présente plusieurs méthodes de recalage pour les applications de réalité augmentée (R.A.). Nous décrivons d'abord des expériences de R.A. utilisant des recalages et suivis uniquement 2D. Nous nous intéressons ensuite au suivi visuel d'un objet naturel dont on connaît un modèle 3D et dont l'image peut ainsi être augmentée avec une cohérence spatiale et temporelle. Dans une première partie, nous proposons d'abord d'utiliser un recalage homographique en temps-réel pour augmenter des séquences filmées par une caméra en rotation autour de son centre optique. Dans une autre application, des transformations non rigides sont calculées hors ligne pour augmenter les images naturelles des parois gravées d'une grotte préhistorique. Le recalage géométrique des interprétations graphiques d'un préhistorien permet de créer un logiciel de découverte interactive des parois. Dans la seconde et majeure partie de ce travail, nous partons des méthodes de suivi 3D de l'état de l'art prises parmi les plus performantes. Ces méthodes consistent à suivre un objet naturel connaissant sa représentation par un maillage 3D. Nous proposons une approche de suivi visuel 3D utilisant quant à elle des modèles par points de l'objet. Ce type de modèle, caractérisé par l'absence de topologie, est encore peu utilisé en vision par ordinateur mais il présente une souplesse intéressante par rapport aux modèles constitués de facettes. La méthode de suivi que nous proposons consiste à interpréter des mises en correspondances 2D entre points d'intérêt en termes de variations de positions 3D. Le processus d'estimation sous-jacent utilise des champs de mouvements déduits des modèles 3D par points et des reconstructions par Moving Least Squares et splatting. Ces techniques développées par la communauté d'informatique graphique s'attachent à reconstruire localement (explicitement ou implicitement) la surface de l'objet à suivre et certains attributs dénis de manière éparse sur le nuage de points. Nous les adaptons à l'interpolation des champs de mouvements. L'avantage de notre approche est d'aboutir à un algorithme enchaînant quelques étapes d'estimation linéaires pour la détermination du mouvement 3D inter-images. Notre technique de résolution est intégrée à une adaptation originale d'un algorithme de suivi visuel de l'état de l'art qui repose sur un suivi hybride, combinant les informations issues de l'image précédente et celles apportées par des images clés acquises hors ligne. Une des particularités de notre implantation vient aussi de l'exploitation des capacités des unités de calcul graphiques (GPU) modernes pour les parties critiques de l'algorithme (extraction de points d'intérêt, appariement et calcul de champs de mouvements). ABSTRACT : This thesis presents several registration methods for augmented reality applications. We first present two applications which use 2D composition techniques (based on homography estimation or non-rigid image transformation). We then propose a 3D visual tracking approach that makes use of a point-based model of the object. The idea is to explain the motion of feature points matched from frame to frame in terms of the variation of the 3D pose parameters. For that we compute 2D motion fields induced by elementary 3D motions. We adapt the splatting technique developed by the computer graphics community to render the model and approximate the motion fields anywhere on the surface. To avoid the drift of the estimation process, we use a set of keyframes which poses are determined offline. Our implementation also exploits the graphic processing units (GPU) for its most computationally intensive parts.

Department or laboratory:Institut de Recherche en Informatique de Toulouse - IRIT (Toulouse, France)
Directeur de thèse:Ayache, Alain
Uncontrolled Keywords:Réalité Augmentée - Recalage 2D - Suivi Visuel 3D - Modèle à base de points - Calculs génériques sur GPU. KEYWORDS : Augmented Reality - 2D Registration - 3D Visual tracking - Point-based model - GPGPU
Subjects:Computer science > Image processing
Computer science
Deposited On:16 September 2010

Archive Staff Only: edit this record


Contacts | Infos légales | Plan du site | Intranet

(c)INP de Toulouse 2012 - Tous droits réservés. -  INP Communication