Multi-level surgical activity recognition
Reconnaissance multi-niveaux de l'activité chirurgicale
Résumé
Innovations in Minimally Invasive Surgery have improved patient outcomes but have increased the complexity of surgical workflows. Optimizing workflow by recognizing surgical activities is essential to provide context-aware assistance. Significant research has been done on recognizing coarse-grained activities (phases). Methods for detailed activity recognition are essential to better model workflows and advance the capabilities of Context-Aware Systems. This thesis aims to develop multi-level (phase and step) activity recognition methods from Laparoscopic Roux-en-Y Gastric Bypass (LRYGB) videos. First, we introduce a large dataset fully annotated with phases and steps and target joint recognition. Next, we propose a weakly supervised learning method using phases as weak signals for step recognition. Subsequently, we investigate data augmentation for optimal training of these models concluding with a generalization study on a large multi-centric dataset.
Les innovations en matière de chirurgie mini-invasive ont amélioré les résultats pour les patients, mais ont accru la complexité des flux de travail chirurgicaux. L’optimisation du flux de travail en reconnaissant les activités chirurgicales est essentielle pour fournir une assistance contextuelle. Des recherches importantes ont été effectuées sur la reconnaissance des activités à granularité grossière (phases). Les méthodes de reconnaissance détaillée des activités sont essentielles pour mieux modéliser les flux de travail et faire progresser les capacités des systèmes contextuels. Cette thèse vise à développer des méthodes de reconnaissance d'activité multi-niveaux (phase et étape) à partir de vidéos de bypass gastrique laparoscopique Roux-en-Y (LRYGB). Tout d’abord, nous introduisons un vaste ensemble de données entièrement annoté avec des phases et des étapes et ciblons la reconnaissance conjointe. Ensuite, nous proposons une méthode d'apprentissage faiblement supervisé utilisant les phases comme signaux faibles pour la reconnaissance des pas. Par la suite, nous étudions l'augmentation des données pour un entraînement optimal de ces modèles, en concluant par une étude de généralisation sur un grand ensemble de données multicentriques.
Origine | Version validée par le jury (STAR) |
---|