User-specific real-time registration and tracking applied to anatomy learning.
Modélisation anatomique utilisateur-spécifique et animation temps-réel. Application à l’apprentissage de l’anatomie.
Résumé
To make the complex task of anatomy learning easier, there exist many ways to represent and structure anatomical knowledge (drawings, books, cadaver dissections, 3D models, etc.). However, it may be difficult from these static media to understand and analyze anatomy motion, which is essential for medicine students. We introduce the "Living Book of Anatomy" (LBA), an original and innovative tool to learn anatomy. For a specific user, a 3D anatomical model (skin, skeleton, muscles and organs) is superimposed onto the user’s color map and animated following the user’s movements. We present a real-time mirror-like augmented reality (AR) system. A Kinect is used to capture body motions.
Three challenges have been tackled : The user-based model deformation challenge identifies the user’s body measurements and use it to register our 3D anatomical model. We propose and evaluate two different registration methods. The first one is real-time and use affine transformations attached to rigid frames positioned on each joint given by the Kinect body tracking skeleton. This allows to deform the 3D anatomical model using skinning to fit the user’s measurements. The second method needs a few minutes to register the anatomy and is divided in 3 parts :
skin deformation (using Kinect body tracking skeleton and the Kinect partial point cloud) ; combination with strict anatomical rules we register the skeleton ; soft tissue deformation to fully fill the space inbetween the registered skeleton and skin.
Through the real-time model animation challenge, we want to capture realistically and in real-time the user’s motion. Reproducing anatomical structure motion is a complex task due to the noisy and often partial Kinect data.We propose here the use of anatomical rules concerning body joints (angular limits and degrees of freedom) to constrain Kinect captured motion in order to obtain plausible motions. A Kalman filter is used to smooth the obtained motion capture.
The Augmented Reality model visualisation challenge, is about embedding visual style and interaction, using a full body reproduction to show general knowledge on human anatomy and its differents joints. We also use a lower-limb as structure of interest to higlight specific anatomical phenomenon, as muscular activity. All these approaches have been integrated in a working system detailed in this thesis. This has been validated through live demos during different conferences and through preliminary user studies.
La complexité de l’anatomie fait de son apprentissage une tâche difficile. Au fil des années, différents supports de connaissances ont vu le jour dans le but de représenter et structurer l’anatomie : des dessins au tableau, aux livres d’anatomie, en passant par l’étape incontournable de la dissection, et des travaux pratiques sur maquettes 3D. Il est néanmoins difficile d’appréhender la dimension dynamique de l’anatomie avec les outils d’apprentissage conventionnels ; notion qui est pourtant essentielle à la formation des médecins. À travers ces travaux de thèse, nous proposons un système original et innovant pour l’apprentissage de l’anatomie intitulé « Living Book of Anatomy » (LBA). L’idée étant, pour un utilisateur donné, de superposer à sa propre image une maquette anatomique 3D (peau, squelette, muscles et viscères) et de l’animer en mimant les mouvements de celui-ci. Nous parlons ici d’une application temps réel de type « miroir augmenté ». Nous utilisons la Kinect comme capteur de mouvement.
Le premier défi à relever est l’identification de caractéristiques morphologiques qui nous permettront de recaler notre maquette anatomique 3D sur l’utilisateur. Nous proposons ici deux méthodes interchangeables en fonction des besoins. La première méthode, temps-réel, est basée sur l’utilisation de transformations affines attachées entre les repères positionnés à chaque articulation du squelette donné par la Kinect pour déformer la maquette 3D à l’aide de poids de skinning prédéfinis. La seconde méthode, plus couteuse en temps (de l’ordre de quelques minutes), se découpe en trois parties : dans un premier temps, nous déformons la peau à l’aide de la position des articulations du squelette d’animation Kinect et du nuage de points partiel de l’utilisateur ; à partir de cela et de règles anatomiques strictes, nous déformons le squelette ; pour finir, nous déformons les tissus mous pour qu’ils comblent l’espace entre le squelette et la peau. Le second défi concerne la capture réaliste et temps-réel des mouvements utilisateurs. Reproduire le comportement des structures anatomiques est une tâche complexe due aux informations Kinect souvent partielles et très bruitées. Nous proposons ici l’utilisation de règles anatomiques concernant les articulations du corps (axes de rotation et butées articulaires) pour contraindre les mouvements donnés par la Kinect et obtenir des mouvements réalistes. Pour obtenir des mouvements fluides, nous nous proposons d’utiliser des filtrages, notamment le filtre de Kalman. Le dernier défi concerne la dominante de retour visuel et d’interaction. Lors de ces travaux, nous nous sommes tout particulièrement intéressés à un rendu corps complet pour montrer le fonctionnement général du corps humain et de ces différentes articulations. Nous avons également choisi le membre inférieur comme structure anatomique d’intérêt avec pour but la mise en avant de phénomènes anatomiques spécifiques, comme l’activité musculaire.
Les différents éléments ont été intégrés dans un système opérationnel présenté en détails dans ce manuscrit de thèse. Grâce à des expérimentations - avec des étudiants et des professionnels de différents domaines - et la présentation de ces travaux sous forme de démonstrations lors de différents congrès, nous avons validé l’intérêt de cet outil et obtenu les premiers éléments de son évaluation.
Fichier principal
ThesisArmelleBauer.pdf (51.39 Mo)
Télécharger le fichier
02_EG_VCBM_2014.mp4 (106.92 Mo)
Télécharger le fichier
02_SiggAsia_ETech_2015.mp4 (16.62 Mo)
Télécharger le fichier
mig_submission_id_01.mp4 (27.19 Mo)
Télécharger le fichier
Format | Vidéo |
---|
Format | Vidéo |
---|
Format | Vidéo |
---|
Loading...