Bibliometrics, Change Detection and Multimodal Learning on Earth Observation Data : The Case of Deforestation
Bibliométrie, détection de changement et apprentissage multimodal sur des données d'observation de la Terre : le cas de la déforestation
Résumé
Due to deforestation and degradation affecting many forest areas, it is necessary to detect and monitor the condition of forests. In this thesis, we present automatic methods to analyze satellite images and scientific documents, separately and jointly, to detect deforestation. This work, applied to deforestation, remains generic and can be applied to other domains in which observation images can be annotated from publications about the phenomenon of interest. We present our analysis work on publications related to deforestation covering several decades. Our methods offer a promising new approach for the analysis of environmental data to study large-scale information on deforestation or other topics. We propose to extract the best keywords from a corpus of scientific publications on the same subject, after having removed the least relevant documents from this corpus according to their title. To do this, we use sentence embeddings and semantic similarity measures. By using our approach on corpora related to deforestation, we obtain the best keywords mainly related to this subject. We propose to annotate pairs of satellite images of forests having undergone changes, with keywords of scientific publications. Pairs of images are annotated with the words that most closely resemble them. We use a common representation of images and keywords extracted from scientific publications, using neural networks. We find the most similar keywords to the image pair in this common space with the cosine similarity measure. With our approach, we find that corpora that are related to forests in general, and to the region of interest more specifically, can be used to automatically and meaningfully annotate images. We show that these corpora give better results than using a more generic corpus like Wikipedia.
En raison de la déforestation et de la dégradation affectant de nombreuses zones forestières, il est nécessaire de détecter et de surveiller l'état des forêts. Dans cette thèse, nous présentons des méthodes automatiques pour analyser des images satellites et des documents scientifiques, séparément et conjointement, pour détecter la déforestation. Ce travail, appliqué à la déforestation, reste générique et peut s'appliquer à d'autres domaines dans lesquels des images d'observation peuvent être annotées à partir de publications au sujet du phénomène à annoter. Nous présentons notre travail d'analyse des publications liées à la déforestation couvrant plusieurs décennies. Nos méthodes offrent une nouvelle approche prometteuse pour l'analyse des données environnementales afin d'étudier à grande échelle des informations sur la déforestation ou d'autres sujets. Nous proposons d'extraire les meilleurs mots-clés d'un corpus de publications scientifiques sur un même sujet, après avoir retiré les documents les moins pertinents de ce corpus en fonction de leur titre. Pour ce faire, nous utilisons des plongements de phrases et des mesures de similarité sémantique. En utilisant notre approche sur les corpus liés à la déforestation, nous obtenons les meilleurs mots-clés principalement liés à ce sujet. Nous proposons d'annoter des paires d'images satellites de forêts ayant subi des changements, avec des mots-clés de publications scientifiques. Les paires d'images sont annotées avec les mots qui leur ressemblent le plus. Nous utilisons une représentation commune des images et des mots-clés extraits des publications, à l'aide de réseaux de neurones. Nous trouvons les mots-clés les plus similaires à la paire d’images dans cet espace commun avec la mesure de similarité du cosinus. Avec notre approche, nous constatons que les corpus qui sont liés aux forêts en général, et à la région d'intérêt plus spécifiquement, peuvent être utilisés pour annoter automatiquement et de façon pertinente les images. Nous montrons que ces corpus donnent de meilleurs résultats que l'utilisation d'un corpus plus générique comme Wikipedia.
| Origine | Version validée par le jury (STAR) |
|---|