Super-resolution of multiscale 3D images from materials science
Super résolution multi-échelle d'images 3D en sciences des matériaux
Résumé
Recent developments in imaging techniques and computational analysis deeply modify the way materials sciences. The materials image has moved from microscale resolution to true nanoscale to analysis the defects and details at the interfaces of the materials.Thus, this thesis deals with the super-resolution (SR) problem in order to reconstruct the materials images in the high-resolution for instance the nanoscale resolution. To reach this goal, this thesis explores several SR approaches for materials images.Single Image Super-Resolution (SISR) algorithms based on patch-based have been noticed and widely used over the past decade. Recently, Generalized Gaussian Mixture Models (GGMMs) have shown to be a suitable tool for many image processing problems due to the flexible shape parameter. In the first place, we propose using a joint GGMM learned from concatenated vectors of high and low resolution training patches to do super-resolution image based on the minimum mean square error (MMSE) method.Unfortunately, the dimension of the concatenated samples is too high for the learning of the mixture models such as Gaussian mixture model and GGMM. Then we propose these two models Gaussian mixture model (GMM) and GGMM with a reduction of the dimensionality of the data in each component of the model by principal component analysis.These models are called to as PCA-GMM and PCA-GGMM, respectively. To learn the (low dimensional) parameters of the mixture model we propose two different expectationmaximization (EM) algorithms whose M-step requires the solution of constrained optimization problems. Then we apply our PCA-GMM and PCA-GGMM for the super-resolution of 2D and 3D material images based on the MMSE method for the GGMM model.In addition, the study of the material data becomes difcult because the HR and LR images have a different contrast. In our last contribution, we study a deep learning approach considering the problem of contrast change in material images. Indeed, we propose a generative adversarial network (GAN) within two generators, each responding to a different task. The frst generator deals with the problem of contrast changes, and the second one focuses on the reconstruction of the high frequencies of the SR.All the proposed methods lead to convincing results, both quantitative and visual. Especially the numerical results of the dimensionality reduction methods confrm a moderate influence of the size reduction on the overall SR results.
Les développements récents des techniques d’imagerie et de l’analyse computationnelle modifient profondément la manière dont les sciences des matériaux sont abordées.L’image des matériaux est passée d’une résolution à l’échelle microscopique à une véritable échelle nanométrique pour analyser les défauts et les détails aux interfaces des matériaux. Ainsi, cette thèse traite du problème de la super-résolution (SR) afin de reconstruire les images de matériaux en haute résolution, par exemple à l’échelle nanométrique. Pour atteindre ce but, cette thèse explore plusieurs approches de la SR pour les images de matériaux.Les algorithmes de super-résolution d’image unique (SISR) basés sur les patchs ont été remarqués et largement utilisés au cours de la dernière décennie. Récemment, les modèles de mélange gaussien généralisé (GGMM) se sont révélés être un outil approprié pour de nombreux problèmes de traitement d’images en raison de la flexibilité de leur paramètre de forme. Dans un premier temps, nous proposons d’utiliser un GGMM conjoint appris à partir de vecteurs concaténés de patchs d’entraînement à haute et basse résolution pour réaliser une image en super-résolution basée sur la technique de minimum mean square error (MMSE). Malheureusement, la dimension des échantillons concaténés est trop élevée pour l’apprentissage des modèles de mélange tels que le modèle de mélange gaussien et le GGMM.Nous proposons alors ces deux modèles: modèle de mélange gaussien (GMM) et GGMM avec une réduction de la dimensionnalité des données dans chaque composante du modèle par analyse en composantes principales. Ces modèles sont appelés respectivement PCAGMM et PCA-GGMM. Pour apprendre les paramètres (de faible dimension) du modèle de mélange, nous proposons deux algorithmes EM différents dont l’étape M nécessite la résolution de problèmes d’optimisation sous contrainte. Ensuite, nous appliquons nos PCA GMM et PCA-GGMM pour la super-résolution d’images de matériaux 2D et 3D en nous basant sur la méthode MMSE pour le modèle GGMM.De plus, l’étude des données matérielles devient diffcile car les images HR et LR ont un contraste différent. Dans notre dernière contribution, nous étudions une approche d’apprentissage profond considérant le problème du changement de contraste dans les images de matériaux. En effet, nous proposons un réseaux antagonistes génératif (GAN) composé de deux générateurs, chacun répondant à une tâche différente. Le premier générateur traite le problème des changements de contraste, et le second se concentre sur la reconstruction des hautes fréquences du SR.Toutes les méthodes proposées conduisent à des résultats convaincants, tant quantitatifs que visuels. En particulier, les résultats numériques des méthodes de réduction de la dimensionnalité confirment une influence modérée de la réduction de la taille sur les résultats globaux de la SR.
| Origine | Version validée par le jury (STAR) |
|---|