Machine learning for label-free microscopy. Applications to bio-imaging.
Apprentissage machine pour l’imagerie microscopique quantitative sans marquage.Applications à l’imagerie biomédicale.
Résumé
Linear optical microscopy is the main imaging modality for living biological samples studies at high resolution. It presents a possibly very low invasivity coupled with the ability to observe sub-micron in-depth elements (up to individual molecules in particular regimes (Well, 2015)). We can distinguish two main optical microscopy families : imaging using probes (usually fluorescence probes) and label-free imaging. The first approach is the main one when it comes to identification and study of molecular species. However, it is more invasive than the latter. Both the inherent toxicity and probes fragility usually prevent long-term imaging. Label-free microscopy allows aspecific imaging of the entirety of cell components but lacks specificity when it comes to particular molecular species.Over the last years, most of the image-based segmentation applications have used convolutional neural networks. In particular, the U-Net architecture (Ronneberger, 2015) - which adds an expansive decoder to the usual contracting convolutional network - paved the way to localized information with contextualization. Using this architecture allows specific tagging prediction, with relatively few data needed for the training, for any kind of microscopy acquisition, as long as we can provide the target to reach with manual annotations or with fluorescence imaging in our case (Ounkomol, 2018).The goal of my thesis is to develop an algorithm adapted to label-free imaging in order to (i) improve the discrimination between two cellular elements and (ii) unravel the enormous ammount of information within an image to make it specific without requiring slow non-linear optical methods and/or with high excitation fluence (Holtom, 2001).We used quantitative phase imaging using quadriwave lateral shearing interferometry (Bon, 2009) to obtain very high sensistivity and quantitative measurements of joint light amplitude and phase complex data. We then adapted existing algorithm models in order to take complex-valued data as input.Here I will present the impact of using the electromagnetic field in addition to a custom loss function within a U-Net architecture with complex-valued input data for label-free identification and study, among others, of mitochondrial dynamics. Our robust fluorescence prediction method works with two dimensions' images and I will demonstrate its ability to produce three dimensional accurate predictions. Numerical refocusing granted by phase and intensity measurements allows the numerical generation of a three dimensions volume from a unique two dimensional acquisition and then three dimensional fluorescence predictions.Therefore, we realize high frequency (only limited by camera acquisition) specific computational imagery in three dimensions over multiple labels in a completely non-invasive way.
L’imagerie en microscopie optique linéaire est l’approche phare pour l’étude des échantillons biologiques vivants à haute résolution. En effet, elle est à la fois possiblement très faiblement invasive et permet de d’observer des détails sub-microniques en profondeur (jusqu’aux molécules individuelles dans certains régimes particuliers (Well, 2015)). On peut distinguer deux familles de microscopie : l’imagerie utilisant des sondes (en générales fluorescentes) et l’imagerie sans marquage. Si la première approche est la méthode de choix pour l’identification et le suivi d’espèce moléculaire, elle reste plus invasive que la deuxième avec une toxicité et une fragilité des sondes empêchant généralement l’imagerie sur le long terme. L’imagerie sans marquage permet d’imager de manière aspécifique la totalité des composants cellulaire, mais peine donc à obtenir une imagerie spécifique d’espèces moléculaires.Ces dernières années, l’utilisation de réseaux convolutifs a été largement adoptée pour l’ensemble des problématiques de segmentation d’imagerie. Particulièrement, l’architecture dite U-Net (Ronneberger, 2015) -qui rajoute un décodeur expansif au classique réseau convolutif contractant- a permis d’accéder à des informations localisées ainsi qu’à leur contexte. Ainsi, l’utilisation de cette architecture permet la prédiction de marquage spécifiques à l’aide de réseaux entraînés avec relativement peu de données, et ce pour toutes sortes d’acquisition microscopique, dès lors que l’on est capable de fournir un objectif à atteindre pour l’entraînement par des annotations manuelles ou dans le cas qui nous intéresse par de l’imagerie de fluorescence (Ounkomol, 2018).Le but de ma thèse était de développer une algorithmie adaptée à l’imagerie sans marquage pour (i) améliorer la discrimination entre deux composants cellulaires et (ii) démêler la quantité énorme d’informations présentes dans une image pour la rendre spécifique sans pour autant avoir recours à des méthodes d’optique non-linéaires lentes et/ou nécessitant une importante fluence d’excitation (Holtom, 2001).Pour cela, nous avons eu recours à la microscopie de phase quantitative par interférométrie à décalage (Bon, 2009). Elle fournit une mesure conjointe de données (complexes) d’amplitude et de phase de la lumière de façon quantitative et à très haute sensibilité. Nous avons donc adapté les modèles algorithmiques pour prendre en compte des données d’entrée complexes.Je présenterai ici l’impact qu’a l’utilisation complète du champ électromagnétique adossé à une métrique adaptée dans une architecture U-Net sur données complexes, pour l’identification et le suivi notamment de la dynamique mitochondriale sans marquage. Notre méthode robuste de prédiction de fluorescence fonctionne sur des images 2D et je montrerai qu’elle permet de générer des prédictions en trois dimensions. Cela est possible grâce à la refocalisation numérique offerte par des mesures de phase et d’intensité permettant de créer un volume en trois dimensions à partir d’une acquisition en deux dimensions. Nous réalisons ainsi de l’imagerie spécifique computationnelle en trois dimensions sur de multiples marquages à haute fréquence (limitée uniquement par la caméra) de manière complètement non-invasive.
| Origine | Version validée par le jury (STAR) |
|---|