Intelligent Embedded Camera for Robust Object Tracking on Mobile Platform
Caméra intelligente embarquée pour le suivi robuste d'objets sur plateforme mobile
Résumé
The aim of this study is to analyze, compare and retain the most relevant tracking methods likely to respect the constraints of embedded systems, such as Micro Aerial Vehicles (MAVs), Unmanned Aerial Vehicles (UAVs) and intelligent glasses, in order to find a new robust embedded tracking system. A typical VINS consists of a monocular camera that provides visual data (frames), and a low-cost Inertial Measurement Unit (IMU), a Micro-Electro-Mechanical System (MEMS) that measures inertial data. This combination is very successful in the system navigation field thanks to the advantages that the sesensors provide, mainly in terms of accuracy, cost and reactivity. Over the
last decade, various sufficiently accurate tracking algorithms and Visual Inertial Navigation Systems (VINS) have been developed, however, they require greater computational resources. In contrast, embedded systems are characterized by their high integration constraints and limited resources. Thus,in this thesis, a solution for embedded architecture, relaying on efficient algorithms and providing less computational load, is proposed.
First, relevant tracking algorithms are studied focusing on their accuracy, robustness, and computational complexity. In parallel, numerous recent embedded tracking computation architectures are also discussed. Then, our robust visual-inertial tracking approach, called : "Context Adaptive Visual Inertial SLAM", is introduced. It alternates between visual KLT-ORB and EKF Visual-Inertial tracking, according to the navigation context, thanks to the proposed execution control module. The latter uses several parameters concerning the scene’s appearance, the motion types, etc. Consequently, tracking continuity, robustness and accuracy are improved, even in difficult conditions. Moreover, our proposal is suited to embedded systems integration, given the low algorithms computational complexity and the implemented PoIs management leading to decrease the number of PoIs as well as the occurrences of their detection. All our experiments and tests was performed using the different EuRoC dataset sequences.
Le suivi visuel-inertiel est une thématique d'actualité, difficile à traiter, notamment lorsqu’il s’agit de respecter les contraintes des systèmes embarqués, comme dans les drones autonomes (Unmanned Aerial Vehicles (UAVs)). Les questions relatives à la miniaturisation, la portabilité et la communication des systèmes électroniques s’inscrivent dans des problématiques actuelles en matière d'avancée technologique. Pour répondre de manière efficace à ces problématiques, il est nécessaire d’envisager des traitements complexes et des implémentations sur des supports contraignants en termes d’intégration et de consommation d’énergie, tels que les micro-véhicules aériens (MAVs), les lunettes et les caméras intelligentes.
Au cours de cette dernière décennie, différents algorithmes performants de suivi ont été développés. En revanche, ils nécessitent des ressources calculatoires conséquentes, compte tenu des différentes formes d'utilisation possibles. Or, les systèmes embarqués imposent de fortes contraintes d'intégration, ce qui réduit leurs ressources, particulièrement en termes de capacité calculatoire. Ainsi, ce type de système nécessite de recourir à des approches efficaces avec moins de charge et de complexité calculatoire. L’enjeu de cette thèse réside dans cette problématique. L'objectif est d’apporter une solution embarquée de suivi qui permettrait d'assurer un fonctionnement robuste dans différents environnements de navigation. Une analyse des algorithmes pertinents de suivi, visuel et visuel-inertiel et des environnements de navigation ainsi qu’une étude de différentes architectures embarquées de calcul sont menées, afin de proposer notre solution nommée « système de suivi inertiel-visuel adaptatif à l'environnement de navigation~». Cette dernière consiste à alterner entre deux approches de suivi : KLT-ORB et EKF VI Tracking, selon les conditions de navigation du système, grâce au module de contrôle, tout en assurant la cohérence du système global en gérant le nombre de PoIs et l'occurrence de leur détection et en respectant les contraintes des systèmes embarqués. Tous nos expérimentations et tests ont été réalisées en utilisant le jeux de données EuRoC.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|