Harnessing the Power of Multimodal and Textual Data in Industry 4.0 - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Harnessing the Power of Multimodal and Textual Data in Industry 4.0

Exploitation de la Puissance des Données Multimodales et Textuelles pour l'Industrie 4.0

Résumé

In the ever-evolving landscape of Industry 4.0, this thesis addresses two critical challenges aimed at enhancing fault diagnosis: effective interpretation of multimodal data from diverse sensors and smart exploitation of the information contained in scarce, specialized maintenance reports.The first challenge involves the synthesis of data streams from various modalities into an expressive representation that can adapt to dynamic system conditions. This necessitates the development of innovative strategies to process complex data in a time and memory-efficient manner.The second challenge focuses on extracting valuable information from the limited number of expert-written maintenance reports. This task is made complex due to the highly specialized industry-specific vocabulary these reports possess.In response to these challenges, the thesis presents a unique deep learning architecture that handles long, unaligned multimodal data streams. Furthermore, it proposes an innovative transductive method for textual few-shot learning, which leverages the limited available labeled data for improved prediction performance, while ensuring confidentiality of sensitive information.Divided into two parts, the first addresses multimodal learning for fault diagnosis, and the second targets few-shot learning in NLP for textual data analysis.
Dans le paysage en constante évolution de l'Industrie 4.0, cette thèse aborde deux défis cruciaux visant à améliorer le diagnostic de défauts : une interprétation efficace des données multimodales provenant de divers capteurs et une exploitation intelligente des informations contenues dans des rares rapports de maintenance spécialisés.Le premier défi implique la synthèse de flux de données de diverses modalités en une représentation expressive s'adaptant aux conditions dynamiques du système. Ceci nécessite le développement de stratégies innovantes pour traiter les données complexes efficacement en temps et en mémoire.Le second défi concerne l'extraction d'informations précieuses à partir d'un nombre limité de rapports de maintenance rédigés par des experts. Cette tâche est rendue complexe par le vocabulaire spécifique que ces rapports possèdent.En réponse à ces défis, la thèse présente une architecture d'apprentissage profond unique qui gère habilement les longs flux de données multimodales non alignées. De plus, elle propose une méthode transductive innovante pour l'apprentissage à quelques exemples textuels, qui exploite les données étiquetées limitées disponibles pour améliorer les performances de prédiction, tout en assurant la confidentialité des informations sensibles.Cette thèse est organisée en deux parties principales, la première traite de l'apprentissage multimodal pour le diagnostic des défauts, et la seconde cible l'apprentissage à quelques exemples en TAL pour l'analyse des données textuelles.
Fichier principal
Vignette du fichier
115657_PELLEGRAIN_2023_archivage.pdf (15.79 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04280319 , version 1 (10-11-2023)

Identifiants

  • HAL Id : tel-04280319 , version 1

Citer

Victor Pellegrain. Harnessing the Power of Multimodal and Textual Data in Industry 4.0. Artificial Intelligence [cs.AI]. Université Paris-Saclay, 2023. English. ⟨NNT : 2023UPAST093⟩. ⟨tel-04280319⟩
123 Consultations
43 Téléchargements

Partager

Gmail Facebook X LinkedIn More