L’objectif principal de cette thèse consiste à proposer une approche qui permet à un utilisateur se déplaçant en milieu urbain, de visualiser en Réalité Augmentée, à l’aide d’un smartphone, l’incidence d’un projet de construction sur le paysage urbain, une fois le bâtiment réalisé. En particulier, avec le retour actuel des projets de constructions de tours dans les grandes villes (Londres, Paris et Lyon notamment), il devient un enjeu très important pour les usagers des quartiers de pouvoir se rendre compte visuellement de l’impact d’un projet de construction sur la ligne d’horizon (Skyline) et donner un avis le plus objectif possible sur un projet de construction. Du point de vue des géographes et des usagers des quartiers, ce dispositif innovant permet de prendre le contrepied des cabinets d’architectes, qui ne proposent que des rendus très esthétiques de leurs projets de construction, avec nombre limité de vues, au détriment de visualisations plus objectives. Il ne s’agit pas nécessairement de proposer un rendu photo-réaliste, mais plutôt une esquisse la plus exacte possible de la géométrie de la scène, tout au long de la déambulation de l’usager. Des visualisations à différentes positions et orientations correspondent mieux aux usages les plus courants de la vie dans les quartiers. Nous proposons une approche dans laquelle les différentes données issues de la multitude d’instruments embarquées dans le dispositif sont fusionnées, afin d’estimer la pose de l’appareil : le compas magnétique permet d’estimer la direction d’observation; le gyroscope et l’accéléromètre permettent d’évaluer grossièrement les paramètres de mouvement (trois degrés deliberté en translation, et trois degrés de liberté en rotation). Cette première pose estimée, associée au modèle 3D de la ville, permet, à l’aide des supports de rendu (2D et 3D) des dispositifs, de générer une image de synthèse de ce que l’utilisateur visualise théoriquement à cette position. Néanmoins, l’utilisation unique de ces instruments pour insérer un objet de synthèse dans le flux vidéo donne à l’utilisateur une impression très peu réaliste de la scène qu’il visionne : les objets de synthèse semblent «flotter » au gré des mouvements en raison des imprécisions des instruments. Pour pallier ce défaut, le skyline est extrait automatiquement des images réelles (acquises par la caméra) et virtuelles (générées). Une étape d’appariement des deux skylines permet de recaler le skyline virtuel sur le réel et ainsi permettre une incrustation entemps réel des projets de construction au sein du flux vidéo, et une amélioration selon deux critères : précision et stabilité avec une impression d’immersion bien meilleure. Plusieurs mesures de similarité sont proposées avec une approche d’optimisation basée sur une descente de gradient.