Driver’s postural monitoring using different data-driven approaches - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Driver’s postural monitoring using different data-driven approaches

Monitoring de la posture du conducteur par des approches basées sur des données

Résumé

With driving automation, drivers will be freed from the constraints of driving and will be able to perform new activities such as reading a book, playing with a smartphone, working on a computer, sleeping, etc. For a conditionally automated vehicle of SAE (Society of Automotive Engineers) Level 3, the driver must be prepared to take control of the vehicle when needed. Monitoring the driver's posture can provide not only body position in the vehicle, but also information to assess driver’s cognitive and attentional state. Postural information is necessary in the development of protection and driving assistance systems for better safety. Driver monitoring, in particular that of body posture by non-invasive sensors such as depth camera, pressure sensor, has been a very active field of research in recent years. Various monitoring systems have been proposed for extracting driver postural information (for example, orientation of the head, position of the hands, etc.) in order to recognize different activities of the driver. Existing methods suffer from the problem of suboptimal placement of the camera in the vehicle and body occlusions in the field of view. Most studies have been devoted to monitoring the driver's upper limbs, trunk, and head, and few have examined full-body posture. To facilitate the recognition of driver activities, a few databases on driver posture have been proposed. However, there is a lack in efficient methods for generating ground truth annotation labels which are essential for training posture estimation algorithms based on supervised learning. To date, none driver posture monitoring system has really demonstrated its effectiveness. The present thesis therefore aims to (1) create an annotated posture database corresponding to a wide range of activities that take place in both traditional vehicles and autonomous vehicles, (2) to develop a postural monitoring system for the entire body in the vehicle using depth cameras and pressure sensors. In this work, we have built a large database on driver postures with annotation and labels through a data augmentation procedure that we have developed. The original data, measured by 3 RGB-D depth cameras and 2 pressure sheets, were collected on a laboratory mockup from 23 drivers performing 42 activities including non-driving tasks. The joint centers were reconstructed using markers placed on the body measured by a motion capture system. The data augmentation procedure, based on computer graphics techniques, allows the automatic generation of images synthesized with 2D and 3D annotations. Using this database, we have adapted several learning algorithms to recognize upper, lower and head posture from measurements by pressure sensors, RGB-D cameras, or both. Special attention was paid to reduce upper body posture prediction errors caused by body occlusions or confusion by the algorithm.
Avec l’automatisation de conduite, les conducteurs seront libérés des contraintes liées à la conduite et pourront effectuer de nouvelles activités comme lire un livre, jouer avec un smartphone, travailler sur un ordinateur, dormir, etc. Pour un véhicule conditionnellement automatisé du niveau 3 selon SAE (Society of Automotive Engineers), le conducteur doit être prêt à prendre le contrôle du véhicule en cas de besoin. Le monitoring de la posture du conducteur peut fournir non seulement sa position dans le véhicule, mais aussi des informations pour évaluer son état cognitif et attentionnel. Ces informations sont nécessaires dans le développement de systèmes de protection et d'aide à la conduite pour une meilleure sécurité. Le monitoring du conducteur, notamment celui de la posture du corps par des capteurs non-invasifs tels que caméra de profondeur, capteur de pression, est un champ de recherche très actif ces dernières années. Divers systèmes de monitoring ont été proposés pour extraire des informations posturales du conducteur (par exemple, l'orientation de la tête, la position de la main, etc.) dans le but de reconnaître différentes activités du conducteur. Les méthodes existantes souffrent du problème du placement sous-optimal de la caméra dans le véhicule et d'occlusions corporelles dans le champ de vision. La plupart des études ont été consacrées à la surveillance des membres supérieurs, du tronc et de la tête du conducteur, et peu ont examiné la posture du corps entier. Pour faciliter la reconnaissance des activités des conducteurs, quelques bases de données sur la posture des conducteurs ont été proposés. Cependant, il y a un manque au niveau de méthodes efficaces pour générer des étiquettes d'annotation de vérité terrain qui sont indispensables pour les algorithmes d'apprentissage supervisé. A ce jour aucun dispositif de surveillance du conducteur n'a vraiment fait la démonstration de son efficacité. La présente thèse vise donc (1) à créer une base de données labélisés correspondantes à un large panel d’activités liées non seulement à la conduite mais surtout à des activités autres que la conduite et (2) développer un système de monitoring postural du corps entier dans le véhicule à l’aide de caméras de profondeur et de capteurs de pression. Dans ce travail, nous avons construit une large base de données labélisés sur les postures de conducteurs grâce à une procédure d’augmentation de données que nous avons mise au point. Les données d’origine, mesurées par 3 caméras de profondeur RGB-D et 2 nappes de pression, ont été collectées sur une maquette en laboratoire auprès de 23 conducteurs effectuant 42 activités incluant aussi des tâches non-liées à la conduite. Les centres articulaires sont reconstruits grâce aux marqueurs posés au corps mesurés par un système de capture de mouvement. La procédure d'augmentation de données, basé sur des techniques d'infographie, permet la génération automatique des images synthétisées avec des annotations 2D et 3D. Grâce à cette base de données, nous avons adapté plusieurs algorithmes d’apprentissage à la reconnaissance de la posture des membres supérieurs, inférieurs et de la tête à partir des mesures par des capteurs de pression, des caméras RGB-D ou des deux. Une attention particulière a été accordée pour réduire les erreurs de prédiction de la posture du haut du corps causée par des occlusions corporelles ou des confusions par l'algorithme.
Fichier principal
Vignette du fichier
TH2021ZHAOMINGMING.pdf (12.91 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03677896 , version 1 (25-05-2022)

Identifiants

  • HAL Id : tel-03677896 , version 1

Citer

Mingming Zhao. Driver’s postural monitoring using different data-driven approaches. Mechanical engineering [physics.class-ph]. Université de Lyon; Tongji university (Shanghai, Chine), 2021. English. ⟨NNT : 2021LYSE1241⟩. ⟨tel-03677896⟩
181 Consultations
95 Téléchargements

Partager

Gmail Facebook X LinkedIn More