Deep learning methods for the detection and recognition of surgical tools and activities in laparoscopic videos - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Deep learning methods for the detection and recognition of surgical tools and activities in laparoscopic videos

Méthodes d'apprentissage profond pour la détection et la reconnaissance d'outils et d'activités chirurgicaux dans les vidéos laparoscopiques

Résumé

In this thesis, we address the two problem of tool detection and fine-grained activity recognition in the operating room (OR), which are key ingredients in the development of surgical assistance applications. Leveraging weak supervision for temporal modeling and spatial localization, we propose a joint detection and tracking model for surgical instruments, circumventing the lack of spatially annotated dataset on this task. For a more helpful AI assistance in the OR, we formalize surgical activities as triplets of , and propose several deep learning methods, that leverages instrument's activation, spatial attention, and semantic attention mechanisms, to recognize these triplets directly from surgical videos. Evaluation is performed on large scale datasets, which we introduce in this thesis, obtaining state-of-the-art results for these tasks
Nous abordons les deux problèmes de détection d'outils et de reconnaissance d'activité à grain fin en salle d'opération, qui sont essentielles pour le développement d'applications d'assistance chirurgicale. En tirant parti d'une supervision faible pour la modélisation temporelle et la localisation spatiale, nous proposons un modèle de détection et de suivi conjoint pour les instruments chirurgicaux, contournant le manque de jeu de données annotées spatialement. Pour une assistance plus utile de l'IA dans la salle d'opération, nous formalisons les activités chirurgicales sous forme de triplets de , et proposons plusieurs méthodes d'apprentissage en profondeur, qui tirent parti de l'activation de l'instrument, des mécanismes d'attention spatiale et sémantique, pour reconnaître les triplés directement à partir de vidéos. L'évaluation est effectuée sur des ensembles de données, que nous introduisons dans cette thèse, et donne des résultats de pointe pour ces tâches.
Fichier principal
Vignette du fichier
Nwoye_Chinedu_2021_ED269.pdf (19.82 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03855189 , version 1 (16-11-2022)

Identifiants

  • HAL Id : tel-03855189 , version 1

Citer

Chinedu Innocent Nwoye. Deep learning methods for the detection and recognition of surgical tools and activities in laparoscopic videos. Human health and pathology. Université de Strasbourg, 2021. English. ⟨NNT : 2021STRAD038⟩. ⟨tel-03855189⟩
155 Consultations
136 Téléchargements

Partager

Gmail Facebook X LinkedIn More