Évaluation de la qualité des comportements des agents en simulation : application à un simulateur de conduite en environnement virtuel - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2015

Evaluation of the agents' behaviour quality in simulation: application to a driving simulator in virtual environment

Évaluation de la qualité des comportements des agents en simulation : application à un simulateur de conduite en environnement virtuel

Résumé

This research work is conducted in the context of Multi-Agents Simulation. It focuses on the evaluatiion of the agents' ability to reproduce human behaviors. This research question has many application domains such as virtual reality, embodied conversational agents, immersive simulation, games... The dominant approach for the evaluation of the agents' behaviors is based on human judgement, through Social Science questionnaires. Few approaches are based on Artificial Intelligence and automatic data analysis at the microscopic scale. This is due to the semantic gap between "low-level" raw data used by such algorithms and high-level behavior, which requires complex processing. However, these two approaches can obtain different information on high-level behavior. We show in this thesis that these two types of information complete each other and that the evaluation can benefit from both approaches equally. We first present a semi-automatic method for evaluating the agents' behavior quality. It relies on the automatic extraction of behavior clusters. The proposed method combines the Artificial Intelligence approach and the Social Science approach. The first one consists in an observation of human's simulation logs in order to build clusters used as high-level behavior abstractions through indicators given by the experts. The second one evaluates users categories by an annotation of the exhibited behaviors. We then present an algorithm based on the aggregation of the agents to the humans clusters, considered as baseline behaviors. This algorithm allows us to compare agents to humans by studying the clusters composition in order to assess the capacities, the lacks, and the errors in the agent model. We provide metrics based on these cluster types and confidence rates for each cluster. We then make these behaviors explicite based on user categories.
Cette thèse se situe dans le contexte de la Simulation Multi-Agents et s'intéresse à l'évaluation de la capacité des agents à reproduire individuellement des comportements humains. Les comportements que nous considérons sont dits 'de haut niveau', par opposition aux comportements moteurs ou réflexes. Cette problématique se retrouve dans de nombreux domaines avec la Réalité Virtuelle, les Agents Conversationnels Animés, les agents d'un simulateur immersif, les jeux. L'approche dominante pour évaluer ces comportements s'appuie sur l'utilisation de questionnaires de Sciences Humaines et Sociales afin d'exploiter le jugement humain sur le comportement d'un agent artificiel. Il existe peu d'approches exploitant l'analyse automatique de données utilisée en Intelligence Artificielle à l'échelle microscopique car cette dernière utilise des données brutes bas niveau et demande donc des traitements souvent complexes afin de combler le fossé sémantique les séparant des comportements haut niveau. Ces deux types d'approches permettent chacune d'obtenir des informations différentes sur ce même objet d'étude qu'est le comportement de haut niveau. Nous montrons dans cette thèse que ces informations se complètent et que l'évaluation gagne à exploiter conjointement ces deux approches. Nous exposons en premier lieu une méthode d'évaluation semi-automatique de la qualité des comportements des agents. Elle s'appuie sur l'extraction automatique de classes de comportement. La méthode que nous proposons combine l'approche d'Intelligence Artificielle et celle de Sciences Humaines et Sociales. La première consiste en une observation objective des traces de simulation des humains pour construire - via des indicateurs données par des experts - des classes servant d'abstractions aux comportements haut niveau. La seconde, subjective, évalue les catégories d'utilisateurs par une annotation des comportements exhibés. Nous présentons ensuite un algorithme d'agrégation des agents aux classes d'humains qui servent de comportements de référence. Cet algorithme nous permet alors de comparer les agents par rapport aux humains en étudiant la composition de ces classes et ce afin d'évaluer les capacités, les manques et les erreurs du modèle d'agent. Nous fournissons des métriques basées sur ces types de classe ainsi que des taux de confiance en chaque classe. Puis nous explicitons ces comportements en nous appuyant sur les catégories d'utilisateur. Enfin, nous exposons un cycle de conception permettant la calibration automatique de la population d'agents par une exploration de l'espace des paramètres. Cette calibration est basée sur les métriques résultantes de notre méthode d'évaluation et sur des scores de représentativité des comportements des agents. Notre méthode d'évaluation est utilisable dans le but d'analyser un modèle d'agent, de comparer plusieurs modèles d'agent, ou d'évaluer les modifications apportées entre deux versions d'un même modèle. Nous avons appliqué cette méthodologie sur plusieurs études du comportement de conduite en vue d'analyser la simulation de trafic routier ARCHISIM et nous présentons des résultats qui montrent notamment la capacité de son modèle d'agent à reproduire le comportement normatif et le manque de comportements jugés comme dangereux.
Fichier principal
Vignette du fichier
doc00021696.pdf (5.56 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01176764 , version 2 (15-07-2015)
tel-01176764 , version 1 (14-10-2015)
tel-01176764 , version 3 (26-01-2016)

Identifiants

  • HAL Id : tel-01176764 , version 1

Citer

Kevin Darty. Évaluation de la qualité des comportements des agents en simulation : application à un simulateur de conduite en environnement virtuel. Système multi-agents [cs.MA]. Université Pierre et Marie Curie, 2015. Français. ⟨NNT : ⟩. ⟨tel-01176764v1⟩
925 Consultations
1646 Téléchargements

Partager

Gmail Facebook X LinkedIn More