Deep learning for SAR imagery : from denoising to scene understanding
Apprentissage profond pour l'imagerie SAR : du débruitage à l'interprétation de scène
Résumé
Synthetic Aperture Radars (SARs) can collect data for Earth Observation purposes regardless of the daylight or cloud cover. Nowadays, thanks to the Copernicus program of the European Space Agency, a huge amount of SAR data is freely available. However, the exploitation of satellite SAR images is limited by the presence of strong fluctuations in the backscattered signal. Indeed, SAR images are corrupted by speckle, a phenomenon inherent to coherent imaging systems. In this Ph.D thesis, we aim to improve the interpretation of SAR images by resorting to speckle reduction techniques. Existing approaches are based on Goodman’s model, which describes the speckle component as a spatially uncorrelated multiplicative noise. In the computer vision field, denoising methods relying on Convolutional Neural Networks (deep learning approaches) have led to great improvements and provide nowadays state-of-the-art results. We propose to use deep learning-based denoising techniques to reduce speckle from SAR images (despeckling methods). At first, we study the adaptation of supervised techniques that minimize a certain distance between the estimation provided by the CNN and a reference image, also called “groundtruth”. We propose to create a dataset of reference images by averaging multi-temporal images acquired over the same area. Pairs of reference and corrupted images can be generated by synthetizing speckle following Goodman’s model. However, in real images the speckle component is spatially correlated which typically requires subsampling these images by a factor 2 to reduce the spatial correlations, which also degrades the spatial resolution. Given the limits of supervised approaches and inspired by noise2noise, a self-supervised denoising method, we propose to train our networks directly on actual SAR images. The principle of self-supervised denoising methods is the following: if a signal contains a deterministic component and a random component, then a network trained to predict a new signal realization from a first independent signal realization will only predict the deterministic component, i.e., the underlying scene, thereby suppressing the speckle. In the method we have developed, SAR2SAR, we leverage multi-temporal SAR series to obtain independent realizations of the same scene, under the hypothesis of temporally decorrelated speckle. Changes are compensated by devising an iterative training strategy. SAR2SAR is thus trained directly on images with spatially correlated speckle and can readily be applied on SAR images without subsampling, providing high-quality results. The training of SAR2SAR is quite heavy: it is articulated in several steps to compensate changes and a dataset comprising stacks of images must be built. With our approach “MERLIN”, we alleviate the training by proposing a single-image learning strategy. Indeed, in single-look-complex SAR images, real and imaginary parts are mutually independent and can benaturally exploited to train CNNs with self-supervision. We show the potential of this training framework for three imaging modalities, different in terms of spatial resolution, textures, and speckle spatial correlation. For the sake of open science, the code associated to each algorithm developed is made freely available.
Le Radar à Synthèse d’Ouverture (RSO, aussi appelé SAR en anglais) permet d’acquérir des données pour l’observation de la Terre de jour comme de nuit, quelles que soient les conditions météorologiques. Grâce notamment au programme Copernicus de l’Agence Spatiale Européenne nous disposons aujourd’hui d’un grand nombre de données distribuées librement. Cependant, l’exploitation de données satellitaires radar est limitée par la présence de très fortes fluctuations du signal rétrodiffusé par la scène imagée. En effet, les images SAR sont entachées par un phénomène intrinsèque aux systèmes d’imagerie cohérente : le chatoiement, communément appelé speckle. Dans cette thèse, nous visons à faciliter l’interprétation des images SAR grâce au développement de techniques de réduction de speckle. Les approches existantes reposent sur le modèle de Goodman, décrivant le speckle comme un bruit multiplicatif et spatialement non corrélé. Dans le domaine de la vision par ordinateur, les méthodes de débruitage s’appuyant sur un réseau neuronal convolutif (approches d’apprentissage profond) ont permis des grandes avancées et représentent aujourd’hui l’état de l’art. Nous proposons donc d’utiliser les techniques de débruitage basées sur les algorithmes d’apprentissage profond pour la réduction de speckle dans les images SAR (méthodes de despeckling). Premièrement, nous étudions l’adaptation des techniques dites supervisées, c.à.d. visant à minimiser l’écart, selon un certain critère, entre l’estimation fournie par le réseau et une image de référence, dite vérité terrain. Nous proposons la création d’une base de données d’images de référence en moyennant des piles d’images multi-temporelles acquises sur la même zone. Des paires d’images pour entraîner un réseau peuvent être générées en synthétisant du speckle selon le modèle de Goodman. Cependant, dans les images réelles le speckle est spatialement corrélé. La corrélation peut être typiquement réduite par un sous-échantillonnage d’un facteur 2, mais cela engendre une perte de résolution. Au vu des limites des approches supervisées, inspirés par la méthode auto-supervisée noise2noise, nous proposons d’apprendre un réseau directement sur des données réelles. Le principe des méthodes de débruitage auto-supervisées est le suivant : si un signal contient une composante déterministe et une composante aléatoire, un réseau entraîné à prédire une nouvelle réalisation de ce signal à partir d’une première réalisation indépendante ne pourra prédire que la composante déterministe, c.à.d. la scène sous-jacente, supprimant ainsi le speckle. Dans la méthode que nous développons, SAR2SAR, nous utilisons des séries multi-temporelles sous hypothèse de speckle temporellement décorrélé pour obtenir des réalisations indépendantes. Les changements sont compensés en recourant à une stratégie d’entraînement itérative. Le réseau SAR2SAR est donc entraîné sur des images dont le speckle est corrélé spatialement et peut être par conséquent appliqué directement sur les images radar, donnant des performances de très bonne qualité en termes de préservation de la résolution spatiale. L’apprentissage de SAR2SAR reste cependant lourd : la stratégie se déroule en plusieurs étapes pour compenser les changements et un jeu de données contenant des piles d’images doit être constitué. Avec l’approche MERLIN, nous relâchons ces contraintes en proposant une méthode d’apprentissage auto-supervisée mono-image. En effet dans les images SAR complexes, les partie réelles et imaginaires sont mutuellement indépendantes et elles peuvent être naturellement utilisées pour apprendre un réseau de manière auto-supervisée. Nous montrons la simplicité de mise en œuvre d’un tel cadre en entraînant un réseau pour trois modalités d’acquisitions, présentant des différences en termes de résolution spatiale, de textures et de corrélation spatiale du speckle. Dans un souci de science ouverte, le code associé aux méthodes développées est disponible en accès libre.
| Origine | Version validée par le jury (STAR) |
|---|