Machine learning meets real-time numerical simulation : application to surgical training, preoperative planning and surgical assistance
Combinaison entre simulation numérique et apprentissage automatique : applications à la formation, la planification préopératoire et l'assistance peropératoire
Résumé
Many engineering applications require accurate numerical simulations of non-linear structures in real-time. Some important examples can be found in the field of medicine, in order to develop surgical training systems, or in the field of surgical navigation where augmented reality can bring significant improvements to the clinical gesture. To guarantee the accuracy of the simulations, patient-specific modeling must be pursued by taking into account personalized material parameters and boundary conditions. In the context of augmented surgery for instance, it is essential to perform an elastic registration between the preoperative and the intraoperative images. To this end, a patient-specific biomechanical model must be built to produce real-time finite-element simulations of the deformed organ. This is in practice very difficult to achieve as the problems to be solved are highly complex, in particular when non-linear deformations are considered. In this work, we propose a method combining finite-element simulations and deep neural networks in order to satisfy the rapidity and accuracy requirements of medical applications. In particular, we present the U-Mesh framework, capable of predicting in real-time the shape of a highly deformable organ like the liver in order to guide surgeons during interventions where following the organ's deformation is crucial for the surgery to be successful.
Il existe une multitude de domaines en ingénierie nécessitant le calcul de déformations non-linéaires en temps réel, notamment dans le domaine de la médecine, avec les simulateurs pour l'entrainement des chirurgiens ou bien la chirurgie guidée par l'image. Dans un contexte de chirurgie augmentée, il est nécessaire de réaliser un recalage élastique des données préopératoires sur la vue intraopératoire de l'organe. L'objectif est de superposer en temps réel, un modèle virtuel spécifique à chaque patient, à la vue du champ opératoire dans le but de visualiser les structures internes de l'organe (tumeurs ou artères par exemple). Afin d'obtenir une précision adaptée, il est nécessaire de construire un modèle bioméchanique personnalisé de l'organe. Pour ce faire, la méthode des éléments-finis est la technique préférée afin de prédire la déformation des tissus mous. Cependant la complexité des calculs impliqués (notamment dans le cas de déformations non-linéaires) rend cette méthode incompatible avec les exigences de temps réel et de précision, inhérentes au domaine d'application visé.Pour répondre à ces contraintes, on propose de combiner des simulations éléments-finis avec des réseaux de neurones profonds pour modéliser le comportement biomécanique des tissus humains. En particulier on présente la plateforme U-Mesh permettant de prédire en temps-réel les déformations d'un organe comme le foie avec une précision adaptée à la chirurgie augmentée.
| Origine | Version validée par le jury (STAR) |
|---|