Visual monocular SLAM for minimally invasive surgery and its application to augmented reality
Localisation et cartographie simultanées par vision monoculaire pour la réalité médicale augmentée
Résumé
Recovering dense 3D information from intra-operative endoscopic images together with the relative endoscope camera pose are fundamental blocks for accurate guidance and navigation in image-guided surgery. They have several important applications, e.g., augmented reality overlay of pre-operative models. This thesis provides a systematic approach for estimating these two pieces of information based on a pure vision Simultaneous Localization And Mapping (SLAM). We decouple the dense reconstruction from the camera trajectory estimation, resulting in a system that combines the accuracy and robustness of feature-based SLAM with the more complete reconstruction of direct SLAM methods. The proposed solutions in this thesis have been validated on real porcine sequences from different datasets and proved to be fast and do not need any external tracking hardware nor significant intervention from medical staff. The sole input is video frames of a standard monocular endoscope.
La création d'informations 3D denses à partir d'images endoscopiques intraopératoires, ainsi que le calcul de la position relative de la caméra endoscopique, sont des éléments fondamentaux pour un guidage de qualité durant la chirurgie guidée par l'image. Par exemple, cela permet de superposer modèle pré-opératoire via la réalité augmentée. Cette thèse présente une approche pour l'estimation de ces deux information basées sur une approche de localisation et cartographie simultanées (SLAM). Nous découplons la reconstruction dense de l'estimation de la trajectoire de la caméra, aboutissant à un système qui combine la précision du SLAM, et une reconstruction plus complète. Les solutions proposées dans cette thèse ont été validées sur de séquences porcines provenant de différents ensembles de données. Ces solutions n'ont pas besoin de matériel de suivi externe ni d'intervention. Les seules entrées nécessaires sont les trames vidéo d'un endoscope monoculaire.
Origine | Version validée par le jury (STAR) |
---|