Automatic Registration of CT/MRI Data on Laparoscopic Liver Images for Surgical Gesture Assistance by Augmented Reality
Recalage automatique de données scannographiques sur des images de coelioscopie hépatique pour l'assistance au geste chirurgical par réalité aujgmentée
Résumé
Laparoscopic liver resection (LLR) is a less invasive procedure compared to open surgery, as it does not require making big incisions in the abdominal wall. Instead, small incisions are made through which thin instruments are inserted, including the endoscope, scissors, cauterisers, among others. Due to the lack of tactile feedback and the liver's big dimensions, it is difficult for surgeons to localise inner structures such as tumours and vessels. This increases the risk of causing damage to the patient because of accidental haemorrhages and cancerous cell remnants from inaccurate resections. Augmented Reality (AR) can help to overcome these issues by showing the internal structures, hence improving resection planning. AR works by overlaying a preoperative 3D model reconstructed from CT/MRI data onto the laparoscopic images. The preoperative 3D model is usually composed of the liver's outer surface and internal structures such as vessels and tumours. A typical AR-based guidance system for laparoscopy is composed of two stages: (i) an initial registration stage in which the preoperative 3D model is registered to the intraoperative laparoscopic images; and (ii) an update stage in which the model is automatically registered to every new image by tracking the organs. In this thesis we focus on the initial registration stage (i), which is a challenging and highly researched problem.In the case of LLR, the liver may deform significantly between the moment when the CT/MRI scans are taken (preoperative stage) and the actual surgery (intraoperative stage). Thus, a deformable 3D-2D registration should be done for AR to work properly. This registration is done by using visual information present on the liver’s surface. Visual information may consist of texture information, if available, and anatomical landmarks. However, due to the liver's big dimensions and the proximity of the laparoscope, the liver is only partially visible in the laparoscopic images. This makes the existing single-view registration methods to leave big portions of the preoperative 3D model unconstrained, reducing the accuracy of the augmentations. Existing multi-view methods do not work well on patient data due to the slight deformations undergone by the liver between views, even if at rest. Therefore, there is a need for registration methods that can cope with the partial views of the liver and the deformations across views, in a way that the final accuracy is improved. Another issue in AR for LLR is the way the augmentations are presented to the surgeon. Most of the existing methods just project the registered 3D models to the optical axis of the laparoscope. This may create confusions to the surgeon regarding the true location of the inner structures. Some methods initially project a shape of the tumour towards a manually chosen location in the liver surface, which does not provide an accurate indication on how to reach the tumour, for example, using a particular tool. All of this can make surgeons to perform bad resection plannings, increasing the probability of missing the tumours.In this thesis we aim to solve the aforementioned problems in three ways: In the first part, we propose a method combining visual cues with tactile interactions to solve registration on a single image with a partial view of the liver, taking advantage of the surgeon's understanding of the scene. Here, the surgeon refines registration by manually deforming the hidden parts of the liver using an enclosing cage. This method is useful to do a quick registration without having to compute inter-image correspondences. In the second part, we propose several methods to solve registration using multiple intraoperative views. This is done in an attempt to merge the information coming from the different views, as well as to overcome possible human-induced errors in the method proposed at the beginning. (...)
La résection hépatique par cœlioscopie (LLR) est une procédure moins invasive que la chirurgie traditionnelle, car elle ne nécessite pas de grandes incisions de la paroi abdominale. Au lieu de cela, de petites incisions sont ouvertes à travers lesquelles des instruments fins sont insérés, notamment un endoscope, des ciseaux et un cautériseur. En raison du manque d'une palpation directe et des grandes dimensions du foie, il est difficile pour les chirurgiens de localiser les structures internes telles que les tumeurs et les vaisseaux. Cela augmente le risque de dommages au patient en raison d'hémorragies accidentelles et de restes de cellules cancéreuses en raison de résections imprécises. La réalité augmentée (RA) aide à surmonter ces problèmes en montrant les structures internes du foie pendant la chirurgie, améliorant ainsi la planification des résections. La RA fonctionne en superposant un modèle 3D préopératoire reconstruit à partir d'images TDM/IRM sur les images cœlioscopiques. Le modèle 3D préopératoire est généralement composé de la surface externe du foie et des structures internes telles que les vaisseaux et les tumeurs. Un système de guidage basé sur la RA est essentiellement composé de deux étapes : (i) une étape de recalage initiale dans laquelle le modèle 3D préopératoire est recalé sur les images cœlioscopiques peropératoires ; et (ii) une étape de mise à jour dans laquelle le modèle est recalé automatiquement dans chaque nouvelle image en suivant des repères visuels. Dans cette thèse, nous nous concentrons sur l'étape de recalage initial (i), qui est un défi et un problème très étudié.Pour la LLR, le foie peut se déformer significativement entre le moment où les images TDM/IRM sont prises (étape préopératoire) et l'intervention proprement dite (étape peropératoire). Pour résoudre ce problème, un recalage 3D-2D déformable doit être effectué pour que la RA fonctionne correctement. Ce recalage est fait en utilisant des indices visuelles présents à la surface du foie. Ces indices peuvent consister en des informations de texture, s'il y en a, et des repères anatomiques. Cependant, en raison des grandes dimensions du foie et de la proximité de l'endoscope, le foie n'est que partiellement visible dans les images cœlioscopiques. Cela fait que les méthodes existantes de recalage à vue unique laissent de grandes parties du modèle 3D préopératoire sans contraintes de recalage, ce qui réduit la précision des augmentations. De la même façon, les méthodes multi-vues existantes ne fonctionnent pas bien sur les données patients en raison des légères déformations subies par le foie entre les vues, même s'il est au repos. Par conséquent, il y a un besoin de méthodes de recalage pouvant travailler avec des vues partielles et avec des déformations entre les vues, de telle manière que la précision de l'augmentation soit améliorée. Un autre problème en RA pour la LLR est la façon dont les augmentations sont présentées au chirurgien. La plupart des méthodes existantes projettent simplement les modèles 3D recalés vers l'axe optique de l'endoscope. Cela peut induire le chirurgien en erreur par rapport au vrai emplacement des structures internes. Certaines méthodes projettent initialement une silhouette de la tumeur vers un emplacement choisi manuellement dans la surface du foie, ce qui ne fournit pas une indication précise sur la manière d'atteindre la tumeur, par exemple à l'aide d'un outil. Tout cela peut amener les chirurgiens à faire de mauvaises planifications de résection, augmentant ainsi la probabilité de rater les tumeurs.Dans cette thèse, nous visons à résoudre ces problèmes de trois manières. (...)
| Origine | Version validée par le jury (STAR) |
|---|