Deep learning for embedded image compression in Earth Observation
Aprentissage profond pour la compression embarquée d'images d'observation de la Terre
Résumé
The new generation of satellite instruments enables the acquisition of images with ever-growing spectral and spatial resolutions. The counterpart is that an increasing amount of data must be processed and transmitted to the ground. Onboard image compression becomes thus crucial to preserve transmission channel bandwidth and reduce data trans-mission time. Recently, convolutional neural networks have shown outstanding results for lossy image compression compared to traditional compression schemes, however, at the cost of a high computational complexity. Autoencoder architectures are trained end-to-end, taking benefit from extensive datasets and computing power available on mighty clusters.Consequently, the potential contributions and feasibility of deep learning techniques for onboard compression are arousing great interest. In this context, nevertheless, computational resources are subject to severe limitations: a trade-off between compression performance and complexity must be established. In this thesis, the main objective is to adapt learned compression frameworks to onboard compression, simplifying them and training them with specific images. In a first step, we propose simplifying these architectures as much as possible while preserving high performance, particularly maintaining the adaptability to handle diverse input images. In a second step, we investigate how such architectures can further be improved by aggregating other functionalities such as denoising. Thus, we intend to incorporate denoising, either considering the above mentioned compression architectures for joint compression and denoising concurrently or as a sequential approach. The sequential approach consists in using, on the ground, a different architecture to denoise the images issued from the preceding learned compression framework. By running experiments on simulated but realistic satellite images, we show that the proposed simplifications to the learned compression framework result in considerably lower complexity while maintaining high performance. Concerning learned compression and denoising, the joint and sequential approaches are beneficial and complementary, allowing to surpass the CNES imaging system performance, and thus opening the path towards operational compression and denoising pipelines for satellite images.
La nouvelle génération de satellites permet l’acquisition d’images avec des résolutions spectrales et spatiales toujours plus grandes. La contrepartie est qu’une quantité croissante de données doit être traitée et transmise au sol. La compression embarquée d’images devient donc cruciale pour préserver la bande passante du canal de transmission et réduire le temps de transmission des données. Récemment, les réseaux de neurones convolutifs ont montré des résultats exceptionnels pour la compression d’images avec perte par rapport aux schémas de compression traditionnels, au prix d’une complexité de calcul élevée. Les architectures basés sur l’autoencodeur sont entraînés de bout en bout, tirant parti de grandes bases de données et de la puissance de calcul disponible sur de puissants clusters. Par conséquent, les contributions potentielles et la faisabilité des techniques d’apprentissage profond pour la compression embarqué d’images satellitaires suscitent un grand intérêt. Dans ce contexte, néanmoins, les ressources de calcul sont soumises à de sévères limitations: un compromis entre performances de compression et complexité doit être établi. Dans cette thèse, l’objectif principal est d’adapter les architectures de compression appris à la compression embarquée, de les simplifier et de les entraîner avec des images spécifiques. Dans un premier temps, nous proposons de simplifier au maximum ces architectures tout en préservant des performances élevées, en conservant notamment l’adaptabilité pour traiter des images diverses. Dans un deuxième temps, nous étudions comment de telles architectures peuvent encore être améliorées en agrégeant d’autres fonctionnalités telles que le débruitage. Ainsi, nous avons incorporé le débruitage, soit en considérant les architectures de compression mentionnées ci-dessus pour la compression et le débruitage simultanément, soit en utilisant une approche séquentielle. L’approche séquentielle consiste à utiliser au sol une architecture différente pour débruiter les images compressées issues de l’architecture de compression appris précédent. En réalisant des expériences sur des images satellites simulées mais réalistes,nous montrons que les simplifications proposées pour l’architecture de compression appris entraînent une complexité considérablement moindre tout en maintenant des performances élevées. Tant en compression apprise qu’en débruitage appris aussi, les approches conjointes et séquentielles sont intéressantes et complémentaires, permettant de surpasser les performances du système d’imagerie du CNES, et ouvrant ainsi la voie à des chaines opérationnels de compression et de débruitage des images satellites.
| Origine | Version validée par le jury (STAR) |
|---|