Leveraging Anomaly Detection for Affective Computing Applications - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2024

Leveraging Anomaly Detection for Affective Computing Applications

Utilisation des méthodes de détection d'anomalies pour l'informatique affective

Résumé

Recent technological advancements have paved the way for automation in various sectors, from education to autonomous driving, collaborative robots, and customer service. This has led to an increasing interest in the development of machine learning models for emotion recognition and interpretation. Nonetheless, the efficient computer-based assessment of affective and mental states faces several significant challenges, which include the difficulty of obtaining sufficient data, the intricacy of labeling, and the complexity of the task. One promising solution to these challenges lies in the field of anomaly detection, which has demonstrated its significance in numerous domains. This thesis is dedicated to addressing the multifaceted challenges in the field of affective computing by leveraging the power of anomaly detection methods.One of the key challenges addressed is data scarcity, a pervasive issue when striving to construct machine learning models capable of accurately identifying rare mental states. We study anomaly detection methods, utilizing unsupervised approaches in two critical applications: Visual Distraction Detection and Psychotic Relapse Prediction. These scenarios represent demanding and sometimes perilous states for data collection in real-world contexts. The study encompasses a comprehensive exploration of traditional and deep learning-based models, such as autoencoders, demonstrating the success of these methods in overcoming the challenges posed by unbalanced datasets. This success suggests the potential for wider applications in the future, which will help us better understand and deal with rare and hard-to-collect mental and affective states across various areas where obtaining sufficient data is not possible.Furthermore, this research addresses the challenge of inter-variability among individuals in the domain of affective states, particularly in the context of patients with psychotic relapse. The study provides a comparative analysis, exploring the strengths and limitations of both global and personalized models. Personalization is a solution to this challenge, although gathering sufficient personal data, especially for relapse situations, is challenging. However, by employing anomaly detection, it becomes feasible to use an individual's data to model their healthy patterns and detect anomalies when these patterns deviate from the norm. The findings underscore the significance of personalization as an avenue for enhancing the precision of models, especially in scenarios characterized by substantial inter-variability among subjects.Moreover, the complexity of unbalanced datasets is another focus of this thesis. It explores feature selection methods tailored to address these specific dataset characteristics. By leveraging state-of-the-art techniques, including autoencoders, the research advances novel strategies for addressing feature selection challenges posed by unbalanced datasets in applications such as Visual Distraction Detection and Psychotic Relapse Prediction.Finally, the study introduces a novel solution for information fusion from multiple sources, enhancing predictive accuracy in affective computing. This novel approach incorporates an innovative difficulty data indicator derived from an autoencoder's reconstruction error. The outcome is the development of multimodal continuous emotion recognition systems that exhibit superior performance. This approach is studied using the ULM TSST dataset for predicting arousal and valence among participants in stress-induced situations.In this thesis, we investigated various applications of anomaly detection methods in affective computing domain. While these are initial steps showcasing the potential of our proposed approaches, they also lay the groundwork for further exploration in different applications and their variations.
Les récentes avancées technologiques ont ouvert la voie à l'automatisation dans divers secteurs. Cela a conduit à un intérêt croissant pour le développement de modèles d'apprentissage automatique pour la reconnaissance et l'interprétation des émotions. Néanmoins, l'évaluation informatisée efficace des états affectifs et mentaux est confrontée à plusieurs défis importants, notamment la difficulté d'obtenir des données suffisantes, la complexité de l'étiquetage et la complexité de la tâche. Une solution à ces défis réside dans le domaine de la détection d'anomalies, qui a démontré son importance dans de nombreux domaines. Cette thèse est consacrée à la résolution des défis multiples dans le domaine de l'informatique affective en tirant parti de la puissance des méthodes de détection d'anomalies. L'un des principaux défis abordés est la rareté des données, un problème omniprésent lorsque l'on s'efforce de construire des modèles d'apprentissage automatique capables d'identifier avec précision des états mentaux rares. Nous étudions les méthodes de détection des anomalies dans deux applications critiques : La détection des distractions visuelles et la prédiction des rechutes psychotiques. Ces scénarios représentent des états exigeants et parfois périlleux pour la collecte de données dans des contextes réels. L'étude comprend une exploration complète des modèles traditionnels et des modèles basés sur l'apprentissage profond, démontrant le succès de ces méthodes pour surmonter les défis posés par les ensembles de données déséquilibrés. Cette réussite laisse entrevoir la possibilité d'applications plus larges à l'avenir, qui nous aideront à mieux comprendre et traiter les états mentaux et affectifs rares et difficiles à collecter dans divers domaines où il n'est pas possible d'obtenir des données suffisantes. En outre, cette recherche aborde le défi de l'inter-variabilité entre les individus dans le domaine des états affectifs, en particulier dans le contexte des patients souffrant de rechute psychotique. L'étude fournit une analyse comparative, explorant les forces et les limites des modèles globaux et personnalisés. Cependant, en utilisant la détection des anomalies, il devient possible d'utiliser les données d'un individu pour modéliser ses habitudes de santé et détecter les anomalies lorsque ces habitudes s'écartent de la norme. Les résultats soulignent l'importance de la personnalisation comme moyen d'améliorer la précision des modèles, en particulier dans les scénarios caractérisés par une inter-variabilité importante entre les sujets. En outre, la complexité des ensembles de données non équilibrés est un autre thème de cette thèse. Elle explore les méthodes de sélection des caractéristiques adaptées à ces caractéristiques spécifiques des ensembles de données. En s'appuyant sur des techniques de pointe, y compris les autoencodeurs, la recherche propose de nouvelles stratégies pour relever les défis de la sélection des caractéristiques posés par les ensembles de données déséquilibrés dans des applications telles que la détection de la distraction visuelle et la prédiction de la rechute psychotique.Enfin, l'étude présente une nouvelle solution pour la fusion d'informations provenant de sources multiples, améliorant la précision prédictive dans l'informatique affective. Cette nouvelle approche incorpore un indicateur de difficulté innovant dérivé de l'erreur de reconstruction d'un autoencodeur. Le résultat est le développement de systèmes multimodaux de reconnaissance continue des émotions qui présentent des performances supérieures.Dans cette thèse, nous avons étudié diverses applications des méthodes de détection d'anomalies dans le domaine de l'informatique affective. Bien qu'il s'agisse d'étapes initiales démontrant le potentiel de nos approches proposées, elles jettent également les bases d'une exploration plus poussée de différentes applications et de leurs variations.
Fichier principal
Vignette du fichier
HAMIEH_2024_archivage.pdf (7.7 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04592317 , version 1 (29-05-2024)

Identifiants

  • HAL Id : tel-04592317 , version 1

Citer

Salam Hamieh. Leveraging Anomaly Detection for Affective Computing Applications. Signal and Image processing. Université Grenoble Alpes [2020-..], 2024. English. ⟨NNT : 2024GRALT017⟩. ⟨tel-04592317⟩
21 Consultations
18 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More