Model Based Signal Processing Techniques for Nonconventional Optical Imaging Systems
Techniques de traitement du signal basées modèles pour systèmes d'imagerie optique non conventionnels
Résumé
There is an increasing demand for images with higher spectral and spatial resolution for applications in several domains such as health, environment, quality checking and natural disasters monitoring. Hyperspectral imagery provides the necessary spectral diversity to recover the composition of materials on site for applications such as the detection of fires, anomalies, chemical agents, targets and changes in the scene.The requirement for cheaper and more compact devices (e.g. to be embarked on low cost satellites and airborne platform) which are capable of capturing this information has led to the development of nonconventional innovative design concepts to overcome the technological limitations of traditional cameras. Data acquired by such novel imaging devices following the computational imaging paradigm are typically not readily exploitable for the final application. A computational phase is hence needed for extracting useful information from the raw acquisitions.This thesis addresses this issue by setting up an inversion problem. The general approach is to characterize the data fidelity term with a physical model, describing the underlying optical transformations performed by the device. The challenge is then shifted on the regularization step to properly characterizes the features of the quantities of interest and improve the accuracy of the estimation, which can be tackled with variational techniques.The analysis is applied to two novel concepts for nonconventional optical devices. The first one is a novel compressed acquisition imaging system based on color filter arrays, which embeds information from sensors with different spatial and spectral characteristics into a single mosaiced product. As opposed to existing compressed sensing based devices, the goal is not to recover the original uncompressed multiresolution sources, but instead to directly recover a synthetic fused image with both high spatial and spectral resolution.The proposed solution relies on the total variation regularization and is the subject of a detailed analysis, comparing its compressive power with straightforward software alternatives, evaluating its performances as the amount of channels changes, and validating its efficiency in comparison to state of the art methods when applied to classical fusion or mosaicing algorithms separately.The second class of devices is based on the ImSPOC patent, a design concept for a low finesse snapshot imaging spectrometer based on the interferometry of Fabry-Pérot. Its ideal behaviour follows the principle of the Fourier Transform Spectroscopy, as its acquisition can be interpreted as a sampled version of an interferogram, arranged across different sub-images distributed on the same focal plane.After defining a physical model based on optical geometry, its validity is evaluated over real acquisitions by setting up a Bayesian inference problem to determine its parameters, with approaches based on maximum likelihood estimators, regular-grid searches and nonlinear regression.A variety of preliminary tests are then carried out on the inversion method, with approaches based on singular value decomposition and sparse-inducing regularizers, accompanied by a analysis of their robustness to model mismatches.
Il existe une demande croissante d'images avec une résolution spectrale et spatiale plus élevée pour des applications dans plusieurs domaines tels que la santé, l'environnement, le contrôle qualité et la surveillance des catastrophes naturelles. L'imagerie hyperspectrale fournit la diversité spectrale nécessaire pour récupérer la composition des matériaux sur site pour des applications telles que la détection d'incendies, d'anomalies, d'agents chimiques, de cibles et de changements de scène.L'exigence de dispositifs moins chers et plus compacts (par exemple, pour être embarqués sur des satellites à faible coût et une plateforme aéroportée) capables de capturer ces informations a conduit au développement de concepts de conception innovants non conventionnels pour surmonter les limitations technologiques des caméras traditionnelles.Les données acquises à partir de ces nouveaux dispositifs d'imagerie suivant le paradigme d'imagerie informatique ne sont généralement pas facilement exploitables pour l'application finale.Une phase de calcul est nécessaire pour extraire des informations utiles des acquisitions brutes.Cette thèse aborde cette question en mettant en place un problème d'inversion. L'approche générale consiste à caractériser le terme de fidélité des données avec un modèle physique, décrivant les transformations optiques sous-jacentes effectuées par le dispositif. Le défi est ensuite déplacé vers l'étape de régularisation pour bien caractériser les caractéristiques des quantités d'intérêt et améliorer la précision de l'estimation, ce qui peut être abordé avec des techniques variationnelles.L'analyse est appliquée à deux nouveaux concepts de dispositifs optiques non conventionnels.Le premier est un nouveau système d'imagerie d'acquisition compressé basé sur des matrices de filtres de couleur, qui intègre des informations provenant de capteurs avec différentes caractéristiques spatiales et spectrales dans un seul produit mosaïqué. Contrairement aux dispositifs existants basés sur la détection compressée, l'objectif n'est pas de récupérer les sources multirésolutions non compressées d'origine, mais plutôt de récupérer directement une image fusionnée synthétique avec une résolution spatiale et spectrale élevée.La solution proposée repose sur la régularisation de la variation totale et fait l'objet d'une analyse détaillée, comparant sa puissance de compression avec des alternatives logicielles simples, évaluant ses performances au fur et à mesure que le nombre de canaux change, et validant son efficacité par rapport aux méthodes de l'état de l'art lorsque appliqué séparément aux algorithmes classiques de fusion ou de mosaïquage.La deuxième classe d'appareils considérée dans ce travail est basée sur le brevet ImSPOC, un concept de conception pour un spectromètre imageur instantané de faible finesse basé sur l'interférométrie de Fabry-Pérot. Son comportement idéal suit le principe de la spectroscopie à transformée de Fourier, car son acquisition peut être interprétée comme une version échantillonnée d'un interférogramme, disposée sur différentes sous-images réparties sur le même plan focal.Après avoir défini un modèle physique basé sur la géométrie optique, sa validité est évaluée sur des acquisitions réelles en mettant en place un problème d'inférence bayésienne pour déterminer ses paramètres, avec des approches basées sur des estimateurs du maximum de vraisemblance, des recherches en grille régulière et une régression non linéaire.Divers tests préliminaires sont ensuite menés sur la méthode d'inversion, avec des approches basées sur la décomposition en valeurs singulières et les régularisations creuses, accompagnées d'une analyse de leur robustesse aux mésappariements de modèles.
| Origine | Version validée par le jury (STAR) |
|---|