Deep learning for spatio-temporal multidimensional signals : an application to transport mode detection
Apprentissage profond appliqué à des signaux temporels multidimensionnels : application à la détection du mode de transport
Résumé
Deep neural networks have revolutionized Machine Learning, completely reshaping several domains of research in a mere decade. Domains like computer vision, for which deep learning outclassed the previous approaches based on handcrafted features. For instance, to the current day (end of 2021), the most baseline approach to extract features from a RGB image is to use a neural network trained on the popular Image classification task ImageNet. More generally, in the most popular domains, there is a great deal of literature, good practices, and pretrained models accessible with a few lines of Python code. However, not all problems are as crowded as computer vision. In some cases, a single laboratory can deal with multiple types of sensors (accelerometers, strain sensors, GPS signals, physiological signals) to perform Machine Learning on, in the span of a few months. For many of these unnoticed tasks, deep neural networks require considerable work: type of preprocessing, hyperparameter selection, choice of an encoding, or even sensor choice, depending on the problem. We will take the place of a practitioner and review the most common choices we would have to make in order to make deep neural networks work with temporal signals. In each case, we will give indications the best choice to make, according to our experiments and/or the literature. Most of our experiments will focus on Transport Mode Detection, but we will use the literature to distinguish between the conclusions that only apply to our problem, and the affirmations that generalize elsewhere.
Les réseaux de neurones profonds ont révolutionné l'apprentissage machine, en remodelant complétement des disciplines en à peine une décennie. Des disciplines comme la vision par ordinateur, pour laquelle les réseaux de neurones profonds ont complètement remplacé les approches existantes à base de descripteurs calculés ‘à la main’. Par exemple, à la date de rédaction du présent manuscrit (fin 2021), l'approche la plus simple à laquelle on puisse penser pour extraire des descripteurs d'une image RVB est d'utiliser un réseau de neurones pré-entraîné sur le jeu de données ImageNet. Plus généralement, dans ces domaines populaires, il existe une quantité de travaux, bonnes pratiques, et modèles pré-entraînés accessibles en quelques lignes de code Python. Cependant, tous les problèmes ne sont pas aussi bien couverts que la vision par ordinateur. Dans certains cas (comme chez l'entreprise chez laquelle j'étais), un seul laboratoire peut avoir à traiter des signaux provenant de multiples capteurs (accéléromètres, capteurs de contrainte, signaux GPS ou physiologiques), en l'espace de quelques mois. Pour bon nombre de ces problèmes peu couverts, l'utilisation de réseaux de neurones profonds exige un travail considérable: type de prétraitement, choix des hyperparamètres, choix d'un encodage, ou même choix du capteur, selon le problème. Nous nous proposons de prendre la place d'un praticien et de passer en revue les choix qui se présentent avant d'utiliser les réseaux de neurones avec des signaux temporels. À chaque fois, nous donnerons des indications sur la meilleure décision à prendre, en fonction de nos conclusions et/ou de la littérature. Si nos travaux se concentrent sur la détection du mode de transport, nous utiliserons la littérature pour savoir si nos conclusions l'appliquent uniquement à notre problème, ou si les affirmations se généralisent bien.
| Origine | Version validée par le jury (STAR) |
|---|