Skyline : un marqueur pour la réalité augmentée sur mobile en contexte urbain - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2019

A skyline based approach for mobile augmented reality

Skyline : un marqueur pour la réalité augmentée sur mobile en contexte urbain

Résumé

The main objective of this thesis is to propose an approach that allows a user, moving in an urban environment, to visualize in augmented reality, using a smartphone, the impact of a construction project on the urban landscape, once thebuilding is completed. In particular, with the current attractivity for tower construc tion projects in major cities (London, Paris and Lyon in particular), it is becoming a very important issue for neighborhood users to be able to visualize the impact of aconstruction project on the skyline and to give an objective opinion on it. For geographers and neighborhood users, this innovative solution makes it possible to take the opposite view from architectural firms, which only offer very qualitative renderings of their construction projects, with a limited number of views, to the detriment of more objective visualizations. We do not necessarily propose a photo-realistic rendering, but rather a more exact geometric consistency of the scene, throughout the user’s movements. Visualizations at different positions and orientations correspond better to common use cases in neighborhoods. We propose an approach in which data from smartphone’s embedded instruments are merged to estimate a first user’s pose : the magnetic compass estimates the viewing direction; the GPS, gyroscope and accelerometer roughly evaluate the parameters of motion (three degrees of freedom in translation, and three degrees of freedom in rotation). This first estimated pose, associated with the 3D model of the city, allows, using the rendering supports (2D and 3D) of the devices, to generate a synthetic image of what the user theoretically visualizes at this position. Nevertheless, the unique use of these instruments to insert a synthetic object into the video stream gives the user a very unrealistic impression ofthe viewed scene : due to instrument’s data inaccuracies, synthetic objects appear to “hover” and "float" with the user’s movements. For this, the skyline is automatically extracted from real (acquired by the camera) and virtual (generated) images. A matching step between the two skylines allows to realign the virtual skyline onto the real one, allowing thus a real time insertion of the 3D object in the real-time video stream, and an improvement according to two criteria : precision and stability, giving with a much better immersion impression. In this matching step, several similarity metrics are proposed that are used in an optimization approach based on a gradient descent.
L’objectif principal de cette thèse consiste à proposer une approche qui permet à un utilisateur se déplaçant en milieu urbain, de visualiser en Réalité Augmentée, à l’aide d’un smartphone, l’incidence d’un projet de construction sur le paysage urbain, une fois le bâtiment réalisé. En particulier, avec le retour actuel des projets de constructions de tours dans les grandes villes (Londres, Paris et Lyon notamment), il devient un enjeu très important pour les usagers des quartiers de pouvoir se rendre compte visuellement de l’impact d’un projet de construction sur la ligne d’horizon (Skyline) et donner un avis le plus objectif possible sur un projet de construction. Du point de vue des géographes et des usagers des quartiers, ce dispositif innovant permet de prendre le contrepied des cabinets d’architectes, qui ne proposent que des rendus très esthétiques de leurs projets de construction, avec nombre limité de vues, au détriment de visualisations plus objectives. Il ne s’agit pas nécessairement de proposer un rendu photo-réaliste, mais plutôt une esquisse la plus exacte possible de la géométrie de la scène, tout au long de la déambulation de l’usager. Des visualisations à différentes positions et orientations correspondent mieux aux usages les plus courants de la vie dans les quartiers. Nous proposons une approche dans laquelle les différentes données issues de la multitude d’instruments embarquées dans le dispositif sont fusionnées, afin d’estimer la pose de l’appareil : le compas magnétique permet d’estimer la direction d’observation; le gyroscope et l’accéléromètre permettent d’évaluer grossièrement les paramètres de mouvement (trois degrés deliberté en translation, et trois degrés de liberté en rotation). Cette première pose estimée, associée au modèle 3D de la ville, permet, à l’aide des supports de rendu (2D et 3D) des dispositifs, de générer une image de synthèse de ce que l’utilisateur visualise théoriquement à cette position. Néanmoins, l’utilisation unique de ces instruments pour insérer un objet de synthèse dans le flux vidéo donne à l’utilisateur une impression très peu réaliste de la scène qu’il visionne : les objets de synthèse semblent «flotter » au gré des mouvements en raison des imprécisions des instruments. Pour pallier ce défaut, le skyline est extrait automatiquement des images réelles (acquises par la caméra) et virtuelles (générées). Une étape d’appariement des deux skylines permet de recaler le skyline virtuel sur le réel et ainsi permettre une incrustation entemps réel des projets de construction au sein du flux vidéo, et une amélioration selon deux critères : précision et stabilité avec une impression d’immersion bien meilleure. Plusieurs mesures de similarité sont proposées avec une approche d’optimisation basée sur une descente de gradient.
Fichier principal
Vignette du fichier
these_internet_ayadi_m.pdf (160.61 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)
Loading...

Dates et versions

tel-02459918 , version 1 (29-01-2020)
tel-02459918 , version 2 (28-02-2020)

Identifiants

  • HAL Id : tel-02459918 , version 2

Citer

Mehdi Ayadi. Skyline : un marqueur pour la réalité augmentée sur mobile en contexte urbain. Modélisation et simulation. Université de Lyon; Université de Sfax (Tunisie), 2019. Français. ⟨NNT : 2019LYSE2051⟩. ⟨tel-02459918v2⟩
255 Consultations
117 Téléchargements

Partager

Gmail Facebook X LinkedIn More