Multi-task cross-modality deep learning for pedestrian risk estimation - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2019

Multi-task cross-modality deep learning for pedestrian risk estimation

Apprentissage profond multimodale pour l'estimation des risques pour les piétons

Résumé

This PhD thesis is the result of my research work in the machine learning, image processing and intelligent transportation field for solving the problem of multi-task pedestrian protection system (PPS) including not only pedestrian classification, detection and tracking, but also pedestrian action-unit classification and prediction, and finally pedestrian risk estimation. Moreover, our PPS system uses original cross-modality deep learning approaches. The goal of our research work is to develop an intelligent pedestrian protection component-based only on single stereo vision system using an optimal cross-modality deep learning architecture in order to classify the current pedestrian action, predict their next actions and finally to estimate the pedestrian risk by the time to cross for each pedestrian. First, we investigate the classification component where we analyzed how learning representations from one modality would enable recognition for other modalities within various deep learning, which one term as cross-modality learning. Second, we study how the cross-modality learning improves an end-to-end the pedestrian action.
Cette thèse de doctorat est le résultat de mes travaux de recherche dans le domaine de l'apprentissage automatique, du traitement d'image et du transport intelligent pour résoudre le problème du système de protection des piétons (PPS) multi-tâches comprenant non seulement la classification, la détection et le suivi des piétons, mais aussi l'action des piétons- classification et prédiction des unités, et enfin estimation du risque piéton. De plus, notre système PPS utilise des approches originales d'apprentissage en profondeur inter-modalités. Le but de notre travail de recherche est de développer un composant de protection des piétons intelligent basé uniquement sur un système de vision stéréo unique utilisant une architecture d'apprentissage en profondeur cross-modalité optimale afin de classer l'action piétonne actuelle, de prédire leurs prochaines actions et enfin d'estimer le piéton risque au moment de traverser pour chaque piéton. Premièrement, nous étudions la composante de classification où nous avons analysé comment les représentations d'apprentissage d'une modalité permettraient de reconnaître d'autres modalités au sein de divers apprentissages profonds, un terme comme apprentissage multimodal. Deuxièmement, nous étudions comment l'apprentissage inter-modalité améliore la détection de l'action piétonne de bout en bout.Troisièmement, nous analysons la prédiction de l'action des piétons et l'estimation du temps à traverser.
Fichier principal
Vignette du fichier
POP.pdf (9.99 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)
Loading...

Dates et versions

tel-02997196 , version 1 (10-11-2020)

Identifiants

  • HAL Id : tel-02997196 , version 1

Citer

Dănuţ Ovidiu Pop. Multi-task cross-modality deep learning for pedestrian risk estimation. Artificial Intelligence [cs.AI]. Normandie Université; Universitatea Babeș-Bolyai (Cluj-Napoca, Roumanie), 2019. English. ⟨NNT : 2019NORMIR06⟩. ⟨tel-02997196⟩
307 Consultations
196 Téléchargements

Partager

Gmail Facebook X LinkedIn More