3D motion estimation and assessment in fluorescence microscopy volume sequences
Estimation de mouvement 3D et évaluation dans des séquences volumiques de microscopie de fluorescence
Résumé
The thesis work deals with the computation and the assessment of 3D motion fields in 3D fluorescence microscopy image sequences. We have investigated 3D matching and variational methods for 3D flow field estimation between two consecutive volumes. For matching, we have developed two original 3D extensions of PatchMatch both involving the discrete Census similarity measure: a super-pixel based method that proceeds slice by slice, and a coarse-to-fine method directly applied to the volumes. We have also designed a protrusion segmentation method on the cell surface along with a matching stage relying on a triangular mesh-based representation. Regarding the dense estimation of 3D flow fields, we have adopted a variational approach, while exploiting the continuous Census signature of voxels in the data term. We have tested three regularization terms: L2, L1, and TV-based regularization. We have also combined the 3D PatchMatch method with the variational method to be able to handle simultaneously large and small motion magnitude. For visual assessment, we have proposed three different color-coded visualization techniques of 3D flow fields. They offer 2D summaries of the 3D flow field, respectively, slice-by-slice, with tri-planar projections, and after maximum intensity point projection. In addition, we have defined a new quantitative error measure for assessing the accuracy of the estimated flow field when no ground truth is available. It involves the angular difference between the local principal orientation of the original source volume and the corresponding one in the volume backward-warped with the 3D computed flow field. We have tested our methods on real microscopy image sequences containing MV3 melanoma cells in collagen environment. When comparing with the state-of-the-art method of Amat et al., and our 3D extension of the classical Horn-and-Schunck method, we found our proposed methods to be the best performing ones.
Ce travail de thèse porte sur l’estimation et l'évaluation de champs de vitesse 3D dans des séquences d'images 3D de microscopie à fluorescence. Nous nous sommes intéressés aux méthodes de mise en correspondance et aux méthodes variationnelles pour l'estimation du mouvement entre volumes 3D de la séquence. Pour l'appariement, nous avons développé deux extensions 3D originales de PatchMatch, les deux incorporant une mesure de similarité exploitant la signature de Census discrète : une méthode exploitant les super-pixels et qui procède couche par couche dans le volume, et une méthode multi-résolution s’appliquant directement aux volumes. Nous avons par ailleurs conçu une méthode de segmentation des protubérances sur la surface de la cellule et une étape d'appariement des éléments segmentés reposant sur une représentation en mailles triangulaires. En ce qui concerne l'estimation dense des flots 3D, nous avons élaboré plusieurs méthodes variationnelles. Si toutes exploitent la signature Census continue des voxels dans le terme d’attache aux données, elles se distinguent par la nature du terme de régularisation : L2, L1 ou TV. Nous avons également combiné la méthode 3D PatchMatch avec la méthode variationnelle pour appréhender à la fois des mouvements de grande et de petite amplitude. Pour l'évaluation visuelle, nous avons proposé trois techniques différentes de visualisation des flots 3D par code couleur. Elles offrent des vues synthétiques 2D pertinentes du flot 3D calculé, respectivement couche par couche dans le volume, selon des projections tri-planaires, ou par affichage sur l’image obtenue par projection d'intensité maximale. De plus, nous avons défini une nouvelle mesure d’erreur quantitative pour évaluer la précision du flot 3D estimé, lorsqu'aucune vérité-terrain n’est disponible. Elle s'exprime comme la différence angulaire entre l'orientation principale locale dans le volume source et celle correspondante dans le volume rétro-reconstruit à partir du flot 3D calculé. Nous avons testé nos méthodes sur des séquences d'images microscopiques réelles contenant des cellules de mélanome MV3 dans un environnement de collagène. En comparant avec la méthode d'Amat et al. et notre extension 3D de la méthode classique de Horn-et-Schunck, nous avons pu en déduire que nos méthodes sont les plus performantes.
| Origine | Version validée par le jury (STAR) |
|---|
Loading...