Fast fusion of multispectral and hyperspectral images for infrared astronomy
Fusion rapide d'images multispectrales et hyperspectrales en astronomie infrarouge.
Résumé
The James Webb Space Telescope (JWST) will be launched in 2021 and will provide multispectral images (with low spectral resolution) on wide fields of view (with high spatial resolution) and hyperspectral images (with high spectral resolution) on small fields of view (with lower spatial resolution). This Ph.D. thesis aims at developing fusion methods that will combine those images to reconstruct the astrophysical scene at high spatial and spectral resolutions. The fused product will make data analysis significantly easier. This Ph.D. project is part of the Early Release Science observing program "Radiative Feedback of Massive Stars" which will be conducted in the first wave of the JWST scientific mission in September 2022. Fusing images of different spatial and spectral resolutions has been deeply investigated for remote sensing in Earth observation. The most powerful methods are based on the resolution of an inverse problem, i.e., by minimizing a cost function composed of a data fidelity term complemented by a regularization term. The data fidelity term is formulated from a forward model of the observation instruments. The regularization term can be interpreted as a prior information on the fused image. The main challenges of data fusion for the JWST are due to the very large scale of the fused data, considerably larger than the size encountered in remote sensing, as well as complexity of both instruments. In a first part of this thesis, one proposes a generic framework which allows observations to be simulated as they would have been provided by two instruments on board the JWST: the NIRCam multispectral imager and the NIRSpec spectrometer. This protocol is mainly based on a reference image with high spatial and spectral resolutions and on the modeling of the instruments considered. In this work, the reference image is synthetically created by exploiting a realistic factorization of the spatial and spectral characteristics of a photodissociation region. To simulate multi- and hyperspectral images, one derives an accurate observation model that satisfies the specifications of the NIRCam and NIRSpec instruments. This direct model takes into account the specificities of astrophysical observation instruments, namely a spectrally varying blur for each of the instruments, and their particular noise characteristics. This generic framework, inspired by the famous protocol of Wald \emph{et al.} (2005), allows realistic data sets to be simulated, that will be subsequently used to evaluate the performance of the fusion algorithms. Then, one exploits the direct model previously established to formulate the fusion task as an inverse problem. In addition to the data fitting term, various regularizations are explored. First, a spectral regularization is defined by following a low rank hypothesis on the fused image. Then, the following spatial regularizations are envisioned: Sobolev, weighted Sobolev, patch-based representations and dictionary learning. To overcome the complexity of the instrumental models as well as the very large data volume, a fast implementation is proposed, by solving the problem in the Fourier spatial domain and in a spectral subspace. Particular importance is given to taking into account the uncertainties associated with the problem: errors in telescope jitter and in image misregistration.
Le James Webb Space Telescope (JWST) sera lancé en octobre 2021 et fournira des images multispectrales (à basse résolution spectrale) sur de larges champs de vue (avec une haute résolution spatiale) et des images hyperspectrales (à haute résolution spectrale) sur des petits champs de vue (avec une plus basse résolution spatiale). Les travaux de cette thèse ont pour but de développer des méthodes de fusion qui combinent ces images pour reconstruire la scène astrophysique observée à haute résolution spatiale et spectrale. Le produit fusionné permettra une amélioration de l'interprétation scientifique des données. Ces travaux s'inscrivent dans le programme d'observation prioritaire Early Release Science "Radiative Feedback of Massive Stars" qui sera mené lors de la première vague des missions scientifiques du JWST en septembre 2022. Le problème de fusion d'images de résolutions spatiales et spectrales différentes a été largement étudié dans un contexte d'observation de la Terre. Les méthodes les plus performantes sont basées sur la résolution de problèmes inverses, en minimisant un critère de fidélité aux données complété par un terme de régularisation. Le terme d'attache aux données est formulé d'après un modèle direct des instruments d'observation. Le terme de régularisation peut être interprété comme une information a priori sur l'image fusionnée. Les principaux enjeux de la fusion de données pour le JWST sont le très gros volume des données fusionnées, considérablement plus grand que la taille typique des images rencontrées en observation de la Terre, et la complexité des deux instruments d’observation. Dans cette thèse, nous proposons d'abord un cadre générique permettant de simuler des observations telles qu'elles seront fournies par deux instruments embarqués sur le JWST: l'imageur multispectral NIRCam et le spectromètre NIRSpec. Ce protocole repose principalement sur une image de référence à hautes résolutions spatiale et spectrale et sur la modélisation des instruments considérés. Dans ces travaux, l'image de référence est synthétiquement créée en exploitant une factorisation réaliste des caractéristiques spatiales et spectrales d'une région de photodissociation. Pour simuler les images multi- et hyperspectrales, nous établissons un modèle d’observation précis respectant les spécifications des instruments NIRCam et de NIRSpec. Ce modèle direct tient compte des particularités des instruments d'observation astrophysique, à savoir un flou spectralement variant pour chacun des instruments, et de leurs caractéristiques de bruit particulières. Ce cadre générique, inspiré par le célèbre protocole de Wald et al. (2005), rend possible la simulation de données réalistes qui seront utilisées pour évaluer les performances des algorithmes de fusion. Ensuite, nous exploitons le modèle direct précédemment établi pour formuler la tâche de fusion comme un problème inverse. En complément du terme d'attache aux données obtenu, un certain nombre de régularisations sont explorées. Tout d'abord, une régularisation spectrale est définie en suivant une hypothèse de rang faible sur l’image fusionnée. Ensuite, les régularisations spatiales suivantes sont eßxplorées : régularisation de type Sobolev, régularisation de type Sobolev à poids, représentation par patch et apprentissage de dictionnaires. Pour surmonter la complexité des modèles instrumentaux ainsi que la très grande taille des données, une implémentation rapide est proposée, en résolvant le problème dans le domaine spatial de Fourier et dans un sousespace spectral. Une importance particulière a été accordée à une prise en compte des incertitudes liées au problème : erreurs de pointage du télescope et de recalage des images.
| Origine | Version validée par le jury (STAR) |
|---|