Deep Learning and Information Geometry for Time-Series Classification - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Deep Learning and Information Geometry for Time-Series Classification

Apprentissage Profond et G om trie de L’Information pour la Classification de Signaux Temporels

Matthieu Cord

Résumé

Machine Learning, and in particular Deep Learning, is a powerful tool to model and study the intrinsic statistical foundations of data, allowing the extraction of meaningful, human-interpretable information from otherwise unpalatable arrays of floating points. While it provides a generic solution to many problems, some particular data types exhibit strong underlying physical structure: images have spatial locality, audio has temporal sequentiality, radar has time-frequency structure. Both intuitively and formally, there can be much to gain in leveraging this structure by adapting the subsequent learning models. As convolutional architectures for images, signal properties can be encoded and harnessed within the network. Conceptually, this would allow for a more intrinsic handling of the data, potentially leading to more efficient learning models. Thus, we will aim to use known structures in the signals as model priors. Specifically, we build dedicated deep temporal architectures for time series classification, and explore the use of complex values in neural networks to further refine the analysis of structured data. Going even further, one may wish to directly study the signal’s underlying statistical process. As such, Gaussian families constitute a popular candidate. Formally, the covariance of the data fully characterizes such a distribution; developing Machine Learning algorithms on covariance matrices will thus be a central theme throughout this thesis. Statistical distributions inherently diverge from the Euclidean framework; as such, it is necessary to study them on the appropriate, curved Riemannian manifold, as opposed to a flat, Euclidean space. Specifically, we contribute to existing deep architectures by adding normalizations in the form of data-aware mappings, and a Riemannian Batch Normalization algorithm. We showcase empirical validation through a variety of different tasks, including emotion and action recognition from video and Motion Capture data, with a sharpened focus on micro-Doppler radar data for Non-Cooperative Target Recognition drone recognition. Finally, we develop a library for the Deep Learning framework PyTorch, to spur reproducibility and ease of use.
L’apprentissage automatique, et en particulier l’apprentissage profond, unit un arsenal d’outillages puissants pour modeler et  tudier les distributions statistiques sous-jacentes aux donn es, permettant ainsi l’extraction d’informations s mantiquement valides et interpr tables depuis des s quences tabulaires de nombres par ailleurs indigestes   l’oeil humain. Bien que l’apprentissage fournisse une solution g n rique   la plupart des probl mes, certains types de donn es pr sentent une riche structure issue de ph nom nes physiques: les images ont la localit  spatiale, les sons la s quentialit  temporelle, le radar la structure temps-fr quence. Il est   la fois intuitif et d montrable qu’il serait b n fique d’exploiter avec astucieuse ces formations fondatrices au sein m me des mod les d’apprentissage. A l’instar des architectures convolutives pour les images, les propri t s du signal peuvent  tre encod es et utilis es dans un r seau de neurones adapt , avec pour but l’apprentissage de mod les plus efficaces, plus performants. Sp cifiquement, nous oeuvrerons   int grer dans la conception nos mod les profonds pour la classification de s ries temporelles des sur leurs structures sous-jacentes,   savoir le temps, la fr quence, et leur nature proprement complexe. En allant plus loin dans une veine similaire, l’on peut s’atteler   la t che d’ tudier non pas le signal en tant que tel, mais bel et bien la distribution statistique dont il est issu. Dans ce scenario, les familles Gaussiennes constituent un candidat de choix. Formellement, la covariance des vecteurs de donn es caract risent enti rement une telle distribution, pour peu qu’on la consid re,   peu de frais, centr e; le d veloppement d’algorithmes d’apprentissage, notamment profonds, sur des matrices de covariance, sera ainsi un th me central de cette th se. L’espace des distributions diverge de mani re fondamentale des espaces Euclidiens plats; il s’agit en fait de vari t s Riemanniennes courbes, desquelles il conviendra de respecter la g om trie math matique intrins que. Sp cifiquement, nous contribuons   des architectures existantes par la cr ation de nouvelles couches inspir es de la g om trie de l’information, notamment une couche de projection sensible aux donn es, et une couche inspir e de l’algorithme classique de la Batch Normalization. La validation empirique de nos nouveaux mod les se fera dans trois domaines diff rents: la reconnaissance d’ motions par vid o, d’action par squelettes, avec une attention toute particuli re   la classification de drones par signal radar micro-Doppler. Enfin, nous proposerons une librairie PyTorch aidant   la reproduction des r sultats et la facilit  de r -impl mentation des algorithmes propos s.
Fichier principal
Vignette du fichier
these_brooks.pdf (19.35 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03283936 , version 1 (12-07-2021)

Identifiants

  • HAL Id : tel-03283936 , version 1

Citer

Matthieu Cord. Deep Learning and Information Geometry for Time-Series Classification. Computer Vision and Pattern Recognition [cs.CV]. Sorbonne Universite, 2020. English. ⟨NNT : ⟩. ⟨tel-03283936⟩
585 Consultations
99 Téléchargements

Partager

Gmail Facebook X LinkedIn More