Automatic risk detection system by audiovisual signal processing - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Automatic risk detection system by audiovisual signal processing

Système de détection automatique de risques par traitement de signaux audiovisuels

Résumé

The automatic analysis of human behavior is experiencing an unprecedented interest in psychology, linguistics, neuroscience, computer science and automation. This interest is further enhanced by the recent success of machine learning algorithms in perceptual tasks. Since facial expression and voice intonation are representative of a person's emotional state, our work aims at detecting and predicting risky situations by analyzing the cognitive state of a human operator from audio-visual signals. In this work, we discuss the di_erent approaches and techniques of machine learning for emotion recognition. We show how deep learning neural networks, in particular convolutional neural networks, have contributed to emotion recognition in a multi-label and multi-task context. For imagebased emotion recognition, taking into account the context in which the action takes place, we propose an original architecture for the extraction of characteristic attributes: a body module, Xception network, is dedicated to the extraction of attributes of the person's emotions and a scene module, modi_ed VGG16 network, for the extraction of attributes of the whole scene. The outputs of these two modules constitute the inputs of a 3rd module, a multilayer network, composed of a fusion part of the two feature vectors and a decision part for emotion recognition. We also present an architecture for voice-based emotion recognition. We introduce the principle of the "Fingerprint" of the emotional state and the concept of emotional breakdown which will be an indicator of a sudden and unexpected change of the emotional state. The results obtained in an experimental process are discussed.
L'analyse automatique du comportement humain connait un intérêt croissant en psychologie, linguistique, neuroscience, informatique et en automatique. Cet intérêt prend encore plus d'ampleur au vu des récents succès des algorithmes d'apprentissage automatique dans les t^aches de perception. Comme l'expression du visage et l'intonation de la voix sont des données représentatives de l'état émotionnel d'une personne, notre travail vise à détecter et prédire des situations à risque en analysant l'état cognitif d'un opérateur humain à partir de signaux audio-visuels. Dans ce travail, nous discutons les différentes approches et techniques d'apprentissage automatique pour la reconnaissance d'émotions. Nous montrons ce que les réseaux de neurones à apprentissage profond, en particulier les réseaux de neurones convolutifs, ont apporté à la reconnaissance d'émotions dans un contexte multi-label et multi-tâche. Dans le cadre de la reconnaissance d'émotions à partir d'images en prenant en considération le contexte dans lequel se déroule l'action, nous proposons une architecture originale pour l'extraction des attributs caractéristiques : un module corps, réseau Xception, est dédié à l'extraction d'attributs des émotions de la personne et un module scène, réseau VGG16 modifié, pour l'extraction des attributs de la scène entière. Les sorties de ces deux modules constituent les entrées d'un 3e module, réseau multicouche, composé d'une partie fusion des deux vecteurs de caractéristiques et d'une partie décision pour la reconnaissance d'émotions. Nous présentons aussi une architecture pour la reconnaissance d'émotions à partir de la voix. Nous introduisons le principe du "Fingerprint" de l'état émotionnel et le concept de rupture émotionnelle qui sera un indicateur d'un changement brutal et inattendu de l'état émotionnel. Les résultats obtenus lors d'un processus expérimental sont discutés.
Fichier principal
Vignette du fichier
Bendjoudi_Ilyes.pdf (18.82 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03602318 , version 1 (09-03-2022)

Identifiants

  • HAL Id : tel-03602318 , version 1

Citer

Ilyes Bendjoudi. Automatic risk detection system by audiovisual signal processing. Signal and Image processing. Université Polytechnique Hauts-de-France, 2021. English. ⟨NNT : 2021UPHF0040⟩. ⟨tel-03602318⟩
137 Consultations
25 Téléchargements

Partager

Gmail Facebook X LinkedIn More