Methods for learning surgical instrument segmentation from unlabelled datasets using prior knowledge - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Methods for learning surgical instrument segmentation from unlabelled datasets using prior knowledge

Méthodes d'apprentissage pour la segmentation d'instruments chirurgicaux sur jeux de données non étiquetés

Résumé

Surgical videos offer a rich source of information for studying and improving minimally invasive surgery. Identifying and localising surgical instruments from these videos is a crucial step for the development of valuable applications like automatic surgical skill assessment and real-time decision support. State-of-the-art approaches for such task rely on fully-supervised training of deep learning models, requiring manually annotated data, hard to collect at a large scale. This thesis proposes deep learning methods for instrument localisation and identification which can be trained on completely unlabelled datasets. General knowledge about surgical instruments - cheaper and more easily obtained than manual annotations - is incorporated in the training architectures to fabricate effective supervision signals. The proposed approaches leverage novel methods for unsupervised learning, self-supervised representation learning, and learning from noisy labels, all designed to effectively mine such prior and complementary knowledge. We hope our proposed approaches can facilitate the development of valuable assistive technologies to improve the quality of surgical care.
Les vidéos chirurgicales constituent une riche source d'informations pour l'étude et l'amélioration de la chirurgie mini-invasive. L'identification et la localisation des instruments chirurgicaux à partir de ces vidéos est une étape cruciale pour le développement d'applications telles que l'évaluation automatique des compétences chirurgicales et l'aide à la décision en temps réel. Les approches de pointe pour une telle tâche reposent sur l'apprentissage entièrement supervisé de modèles d'apprentissage profond, nécessitant des données annotées manuellement, difficiles à collecter à grande échelle. Cette thèse propose des méthodes d'apprentissage profond pour la localisation et l'identification des instruments, qui peuvent être entraînées sur des ensembles de données totalement non étiquetées. Les connaissances générales sur les instruments chirurgicaux - moins chères et plus faciles à obtenir que les annotations manuelles - sont incorporées dans les architectures d'apprentissage pour fabriquer des signaux de supervision efficaces. Les approches proposées s'appuient sur de nouvelles méthodes d'apprentissage non supervisé, d'apprentissage de représentation auto-supervisé et d'apprentissage à partir d'étiquettes bruitées, toutes conçues pour exploiter efficacement ces connaissances préalables et complémentaires. Nous espérons que les approches que nous proposons pourront faciliter le développement de technologies d'assistance permettant d’améliorer la qualité des soins chirurgicaux.
Fichier principal
Vignette du fichier
SESTINI_Luca_2023_ED269.pdf (122.48 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04217104 , version 1 (25-09-2023)

Identifiants

  • HAL Id : tel-04217104 , version 1

Citer

Luca Sestini. Methods for learning surgical instrument segmentation from unlabelled datasets using prior knowledge. Human health and pathology. Université de Strasbourg, 2023. English. ⟨NNT : 2023STRAD021⟩. ⟨tel-04217104⟩
68 Consultations
1 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More