Estimation of driver awareness of pedestrian for an augmented reality advanced driving assistance system
Estimation de l’inattention du conducteur vis-à-vis d’un piéton pour un système d’aide à la conduite avancé utilisant la réalité augmentée
Résumé
Augmented reality (AR) can potentially change the driver’s user experience in significant ways. In contrast of the AR applications on smart phones or tablets, the Head-Up-Displays (HUD) technology based on a part or all wind-shield project information directly into the field of vision, so the driver does not have to look down at the instrument which maybe causes to the time-critical event misses. Until now, the HUD designers try to show not only basic information such as speed and navigation commands but also the aids and the annotations that help the driver to see potential dangers. However, what should be displayed and when it has to be displayed are still always the questions in critical driving context. In another context, the pedestrian safety becomes a serious society problem when half of traffic accidents around the world are among pedestrians and cyclists. Several advanced Pedestrian Collision Warning Systems (PCWS) have been proposed to detect pedestrians using the on-board sensors and to inform the driver of their presences. However, most of these systems do not adapt to the driver’s state and can become extremely distracting and annoying when they detect pedestrian. For those reasons, this thesis focuses on proposing a new concept for the PCWS using AR (so called the AR-PCW system). Firstly, for the «When» question, the display decision has to take into account the driver’s states and the critical situations. Therefore, we investigate the modelisation of the driver’s awareness of a pedestrian (DAP) and the driver’s unawareness of a pedestrian (DUP). In order to do that, an experimental approach is proposed to observe and to collect the driving data that present the DAP and the DUP. Then, the feature-based algorithms, the data-driven models based on the discriminative models (e.g. Support Vector Machine) or the generative models (e.g. Hidden Markov Model) are proposed to recognize the DAP and the DUP. Secondly, for the «What» question, our proposition is inspired by the state-of-the-art on the AR in the driving context. The dynamic bounding-box surrounding the pedestrian and the static danger panel are used as the visual aids. Finally, in this thesis, we study experimentally the benefits and the costs of the proposed AR-PCW system and the effects of the aids on the driver. A fixed-based driving simulator is used. A limited display zone on screen is proposed to simulate the HUD. Twenty five healthy middle-aged licensed drivers in ambiguous driving scenarios are explored. Indeed, the heading-car following is used as the main driving task whereas twenty three pedestrians appear in the circuit at different moment and with different behaviors. The car-follow task performance and the awareness of pedestrian are then accessed through the driver actions. The objective results as well as the subjective results show that the visual aids can enhance the driver’s awareness of a pedestrian which is defined with three levels: perception, vigilance and anticipation. This work has been funded by a Ministry scholarship and was carried out in the framework of the FUI18 SERA project, and the Labex MS2T which is funded by the French Government, through the program ”Investments for the future” managed by the National Agency for Research (Reference ANR-11-IDEX-0004-02).
La réalité augmentée (Augmented Reality ou AR) peut potentiellement changer significativement l’expérience utilisateur. Au contraire les applications sur Smartphone ou tablette, les technologies d’affichage tête haute (Head Up Display ouHUD) aujourd’hui sont capables de projeter localement sur une zone du pare-brise ou globalement sur tout le pare-brise. Le conducteur peut alors percevoir l’information directement dans son champ de vision. Ce ne sont pas que les informations basiques comme vitesse ou navigation, le système peut aussi afficher des aides, des indicateurs qui guident l’attention du conducteur vers les dangers possibles. Il existe alors un chalenge scientifique qui est de concevoir des visualisations d’interactions qui s’adaptent en fonction de l’observation de la scène mais aussi en fonction de l’observation du conducteur. Dans le contexte des systèmes d’alerte de collision avec les piétons (Pedestrian Collision Warning System ou PCWS), l’efficacité de la détection du piéton a atteint un niveau élevé grâce à la technologie de vision. Pourtant, les systèmes d’alerte ne s’adaptent pas au conducteur et à la situation, ils deviennent alors une source de distraction et sont souvent négligés par le conducteur. Pour ces raisons, ce travail de thèse consiste à proposer un nouveau concept de PCWS avec l’AR (nommé the AR-PCW system). Premièrement, nous nous concentrons sur l’étude de la conscience de la situation (Situation Awareness ou SA) du conducteur lorsqu’il y a un piéton présent devant le véhicule. Nous proposons une approche expérimentale pour collecter les données qui représentent l’attention du conducteur vis-à-vis du piéton (Driver Awareness of Pedestrian ou DAP) et l’inattention du conducteur vis-à-vis de celui-ci (Driver Unawareness of Pedestrian ou DUP). Ensuite, les algorithmes basées sur les charactéristiques, les modèles d’apprentissage basés sur les modèles discriminants (ex, Support Vector Machine ou SVM) ou génératifs (Hidden Markov Model ou HMM) sont proposés pour estimer le DUP et le DAP. La décision de notre AR-PCW system est effectivement basée sur ce modèle. Deuxièmement, nous proposons les aides ARs pour améliorer le DAP après une étude de l’état de l’art sur les ARs dans le contexte de la conduite automobile. La boite englobante autour du piéton et le panneau d’alerte de danger sont utilisés. Finalement, nous étudions expérimentalement notre système AR-PCW en analysant les effets des aides AR sur le conducteur. Un simulateur de conduite est utilisé et la simulation d’une zone HUD dans la scène virtuelle sont proposés. Vingt-cinq conducteurs de 2 ans de permis de conduite ont participé à l’expérimentation. Les situations ambigües sont créées dans le scénario de conduite afin d’analyser le DAP. Le conducteur doit suivre un véhicule et les piétons apparaissent à différents moments. L’effet des aides AR sur le conducteur est analysé à travers ses performances à réaliser la tâche de poursuite et ses réactions qui engendrent le DAP. Les résultats objectifs et subjectifs montrent que les aides AR sont capables d’améliorer le DAP défini en trois niveaux : perception, vigilance et anticipation. Ce travail de thèse a été financé sur une bourse ministère et a été réalisé dans le cadre des projets FUI18 SERA et Labex MS2T qui sont financé par le Gouvernement Français, à travers le programme « Investissement pour l’avenir » géré par le ANR (Référence ANR-11-IDEX-0004-02).
| Origine | Version validée par le jury (STAR) |
|---|