Sequence metric learning : Application to human activity recognition
Apprentissage de métrique sur les séquences : Application à la reconnaissance d'activité
Résumé
This thesis has been realized thanks to a cifre between Orange labs Grenoble and the LIRIS at Lyon. This thesis aims at proposing new neural network approaches to retrieve the habitual behaviors of fragile people in order to provide them with a monitoring at home while respecting their privacy and avoiding stigmatization. In this perspective, we concentrate on the exploitation of wearable motion sensor data (accelerometer, gyrometer, magnetometer, barometer etc.) which are nowadays easily embedded into smartphones and smartwatches. In a first contribution, we propose to employ few-shot learning with an architecture called matching network to learn a personalized and flexible activity recognition model. This model learn to recognize a new class from just one or few new samples since it matches rather than classify. Therefore this model allows to better handle the large variety of activities one can do in one day while alleviating the burden of data labeling. In a second part, we advocate for a change of perspectives by proposing to retrieve recurrent unlabeled activity patterns called routines instead of precise activities. We propose a formalization of the concept of routine with the notion of almost-periodic functions which prompts us to employ sequence metric learning. We propose a neural network architecture based on robust sequence representation learning with a Sequence-to-Sequence model and metric learning with a siamese network. No activity labels are used to train the model by setting up an equivalence constraint with the data timestamps. We propose to identify the routines with a spectral clustering and to evaluate the whole routine retrieval process with information-theoretic clustering scores. The last contribution of this thesis is a new neural network model for sequence metric learning called Coupled Gated Recurrent Unit. This model has been conceived by taking inspiration from the dynamical system theory and notably the concept of synchronization. We propose to improve the siamese gating recurrent unit architecture by implementing a coupling which should allow it to better process the hard samples. We finally experiment this architecture to recognize activities and retrieve routines.
Cette thèse est réalisée dans le cadre d'une cifre entre Orange labs Grenoble et le laboratoire LIRIS à Lyon. Elle a pour objet d'étude la conception d'algorithmes de machine learning pour reconnaitre les comportements habituels des usagers (routines), ceci à des fins de suivi médical à domicile des personnes fragiles en respectant leur vie privée et en évitant la stigmatisation. Pour cela, nous nous concentrons sur l'exploitation des données produites par des capteurs de mouvement (accéléromètre, gyroscope magnétomètre, etc.) portés présents dans les téléphones mais aussi dans les montres connectées, des objets de la vie quotidienne. Dans une première partie, nous proposons d'utiliser un modèle de few-shot learning (matching network) pour apprendre un modèle personnalisé et flexible de reconnaissance d'activités à partir de peu de données. Ce modèle s'adapte à partir de quelques exemples à une nouvelles classe et permet donc de mieux gérer les activités très variées qu'une personne peut réaliser dans une journée. Dans une seconde partie, nous proposons une formalisation mathématique du concept de routine et nous en déduisons une méthode de reconnaissance de celles-ci grâce à l'apprentissage de métrique. Nous proposons un modèle qui combine apprentissage de représentation avec un modèle "Sequence to Sequence" et apprentissage de métrique comme un réseau de neurones siamois. Le modèle est appris sans étiquette d'activité uniquement grâce à l'horodatage des données. Nous proposons ensuite d'identifier les routines grâce à un clustering et les scores associés. Dans la dernière partie, nous proposons un nouveau modèle de réseau de neurones siamois récurrents dit couplés. Ce modèle a été conçu en s'inspirant de la théorie des systèmes dynamiques dans le but d'améliorer l'architecture "siamese GRU", notamment en ce qui concerne les exemples difficiles (hard positive/negative samples). Nous expérimentons cette architecture en reconnaissance d'activités et de routines.
| Origine | Version validée par le jury (STAR) |
|---|