Automatic Non Linear Metric Learning - Application to Gesture Recognition - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2016

Automatic Non Linear Metric Learning - Application to Gesture Recognition

Apprentissage automatique de métrique non linéaire - Application à la reconnaissance de gestes

Résumé

As consumer devices become more and more ubiquitous, new interaction solutions are required. In this thesis, we explore inertial-based gesture recognition on Smartphones, where gestures holding a semantic value are drawn in the air with the device in hand. Based on accelerometer and gyrometer data, three main approaches exist in the literature. The earliest methods suggest to model the temporal structure of a gesture class, with Hidden Markov Models for example; while another approach consists in matching gestures with reference instances, using a non-linear distance measure generally based on Dynamic Time Warping. Finally, features can be extracted from gesture signals in order to train specific classifiers, such as Support Vector Machines. In our research, speed and delay constraints required by an application are critical, leading us to the choice of neural-based models. While Bi-Directional Long Short-Term Memory and Convolutional neural networks have already been investigated, the main issue is to tackle an open-world problem, which does not only require a good classification performance but, above all, an excellent capability to reject unknown classes. Thus, our work focuses on metric learning between gesture sample signatures using the "Siamese" architecture (Siamese Neural Network, SNN), which aims at modelling semantic relations between classes to extract discriminative features, applied to the MultiLayer Perceptron. Contrary to some popular versions of this algorithm, we opt for a strategy that does not require additional parameter fine tuning, namely a set threshold on dissimilar outputs, during training. Indeed, after a preprocessing step where the data is filtered and normalised spatially and temporally, the SNN is trained from sets of samples, composed of similar and dissimilar examples, to compute a higher-level representation of the gesture, where features are collinear for similar gestures, and orthogonal for dissimilar ones. While the original model already works for classification, multiple mathematical problems which can impair its learning capabilities are identified. Consequently, as opposed to the classical similar or dissimilar pair; or reference, similar and dissimilar sample triplet input set selection strategies, we propose to include samples from every available dissimilar classes, resulting in a better structuring of the output space. Moreover, we apply a regularisation on the outputs to better determine the objective function. Furthermore, the notion of polar sine enables a redefinition of the angular problem by maximising a normalised volume induced by the outputs of their reference and dissimilar samples, which effectively results in a Supervised Non-Linear Independent Component Analysis. Finally, we assess the unexplored potential of the Siamese network and its higher-level representation for novelty and error detection and rejection. With the help of two real-world inertial datasets, the Multimodal Human Activity Dataset as well as the Orange Dataset, specifically gathered for the Smartphone inertial symbolic gesture interaction paradigm, we characterise the performance of each contribution, and prove the higher novelty detection and rejection rate of our model, with protocols aiming at modelling unknown gestures and open world configurations. To summarise, the proposed SNN allows for supervised non-linear similarity metric learning, which extracts discriminative features, improving both inertial gesture classification and rejection.
Alors que les appareils électroniques deviennent toujours plus omniprésents, de nouvelles solutions d’interfaces sont requises. Cette thèse explore la reconnaissance de gestes à partir de capteurs inertiels pour Smartphone. Ces gestes consistent en la réalisation d’un tracé dans l’espace présentant une valeur sémantique, avec l’appareil en main. Trois principales approches sont identifiées dans la littérature pour l’exploitation des données accélérométriques et gyrométriques. Les premières méthodes cherchent à modéliser la structure temporelle de chaque classe de geste, avec, par exemple, les Modèles de Markov Cachés (Hidden Markov Model). Une autre approche consiste à faire correspondre les gestes avec des instances de référence à l’aide d’une mesure de distance non-linéaire, le plus souvent basée sur un alignement temporel dynamique (Dynamic Time Warping). La dernière stratégie propose d’extraire des valeurs caractéristiques des signaux gestuels afin d’entraîner des classifieurs spécifiques, tels que les Séparateurs à Vaste Marge (Support Vector Machines). Dans notre contexte de recherche, les contraintes de rapidité d’exécution imposées par l’application jouent un rôle critique, nous orientant ainsi vers le choix de modèles neuronaux. Alors que les réseaux de neurones récurrents "longue mémoire à court terme" (Long Short-Term Memory) bidirectionnels et les réseaux de neurones convolutionnels ont déjà été explorés, notre problématique consiste en un "monde ouvert", qui nécessite non seulement de très bonnes performances en classification, mais aussi avant tout une grande capacité à rejeter des classes inconnues. Ainsi, notre étude porte en particulier sur l’apprentissage de métrique entre signatures gestuelles grâce à l’architecture "Siamoise" (réseau de neurones siamois, SNN), qui a pour but de modéliser les relations sémantiques entre classes afin d’extraire des caractéristiques discriminantes. Cette architecture est appliquée au perceptron multi- couche (MultiLayer Perceptron). A l’inverse de versions plus populaires de cet algorithme, nous faisons le choix d’une stratégie qui ne requiert pas d’ajustement de paramètres supplémentaires au cours de l’apprentissage. Après une étape de prétraitements durant laquelle les données sont filtrées et normalisées en temps et en amplitude, le SNN est entraîné à partir d’ensembles d’échantillons, composés d’exemples similaires et dissimilaires, afin de produire une représentation supérieure, où les vecteurs caractéristiques sont colinéaires entre gestes similaires et orthogonaux entre gestes dissimilaires. Alors que le modèle original du SNN a été principalement pensé pour des estimations de similarité, peu de modifications ont jusqu’alors été proposées afin d’exploiter l’ensemble des relations connues entre classes dans le cadre d’une problématique de classification. Les stratégies classiques de formation d’ensembles d’apprentissage sont essentiellement basées sur des paires similaires et dissimilaires, ou des triplets formés d’une référence et de deux échantillons respectivement similaires et dissimilaires à cette référence. Ainsi, nous proposons une généralisation de ces approches. Chaque ensemble d’apprentissage porte toutes les informations disponibles, avec une référence, un example positif, et un exemple négatif pour chaque classe dissimilaire, dans le but d’améliorer la structuration de l’espace de sortie du réseau. Par ailleurs, plusieurs problèmes mathématiques dans la fonction d’erreur utilisée pouvant influer sur les capacités d’apprentissage du modèle sont identifiés. Nous appliquons donc une régularisation particulière sur les sorties du réseau au cours de l’apprentissage afin de déterminer de manière plus précise la fonction objectif et limiter les variations de la norme moyenne des vecteurs caractéristiques obtenus. Enfin, nous proposons une redéfinition du problème angulaire par une adaptation de la notion de sinus polaire. Il s’agit alors de maximiser un volume normalisé, induit par les vecteurs caractéristiques des échantillons pour un ensemble d’apprentissage, ce qui aboutit à une analyse en composantes indépendantes non-linéaire supervisée basée sur une nouvelle métrique de similarité pour un ensemble de vecteurs. A l’aide de deux bases de données inertielles, la base d’activité humaine multimodale (Multimodal Human Activity Dataset) ainsi que la base Orange, spécifiquement collectée dans le cadre d’une interaction pour Smartphone basée sur des gestes symboliques inertiels, les performances de chaque contribution sont caractérisées et les meilleures capacités de détection et rejet de nouveauté du SNN sont prouvées au moyen de protocoles modélisant un monde ouvert, qui comprend des gestes inconnus par le système. En résumé, le SNN proposé permet de réaliser un apprentissage supervisé de métrique de similarité non-linéaire, qui extrait des vecteurs caractéristiques discriminants, améliorant conjointement la classification et le rejet de gestes inertiels.
Fichier principal
Vignette du fichier
Thesis_Berlemont_Non-linear_metric_gesture_recognition.pdf (4.33 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-01379579 , version 1 (11-10-2016)
tel-01379579 , version 2 (23-03-2017)

Licence

Paternité - Pas d'utilisation commerciale - Partage selon les Conditions Initiales

Identifiants

  • HAL Id : tel-01379579 , version 1

Citer

Samuel Charles Berlemont. Automatic Non Linear Metric Learning - Application to Gesture Recognition. Neural and Evolutionary Computing [cs.NE]. Université de Lyon 1, 2016. English. ⟨NNT : 2016LYSEI014⟩. ⟨tel-01379579v1⟩
533 Consultations
560 Téléchargements

Partager

Gmail Facebook X LinkedIn More