Évaluation de la qualité des comportements des agents en simulation - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2015

Evaluation of the agents’ behaviour quality in simulation

Évaluation de la qualité des comportements des agents en simulation

Résumé

This thesis is in the context of the Multi-Agents Simulation and is interested in evaluating the ability of agents to reproduce human behaviors. This problem appears in many domains such as Virtual Reality and Embodied Conversational Agents. The dominant approach to evaluate these behaviors uses Social Sciences questionnaires. There are only few approaches based on Artificial Intelligence and automatic data analysis at the microscopic scale. We show in this thesis that the evaluation of behavior can benefit from both approaches when used jointly. First, we present a method for evaluating the agents' behavior quality. It combines the Artificial Intelligence approach and the Social Science approach. The first one is based on simulation logs clustering. The second one evaluates the users by an annotation of the behaviors. We then present an algorithm that compare agents to humans in order to assess the capacities, the lacks, and the errors in the agent model, and provide metrics. We then make these behaviors explicite based on user categories. Finally, we present a cycle for automatic calibration of the agents and an exploration of the parameter space. Our evaluation method is usable for the analysis of an agent model, and for comparing several agent models. We applied this methodology on several driver behavior studies to analyse the road traffic simulation ARCHISIM, and we present the obtained results.
Cette thèse se situe dans le contexte de la Simulation Multi-Agent et s'intéresse à l'évaluation de la capacité des agents à reproduire individuellement des comportements humains. Les comportements que nous considérons sont dits "de haut niveau", par opposition aux comportements moteurs ou réflexes. Cette problématique se retrouve dans de nombreux domaines avec la Réalité Virtuelle, les Agents Conversationnels Animés, les agents d'un simulateur immersif, les jeux. L'approche dominante pour évaluer ces comportements s'appuie sur l'utilisation de questionnaires de Sciences Humaines et Sociales afin d'exploiter le jugement humain sur le comportement d'un agent artificiel. Il existe peu d'approches exploitant l'analyse automatique de données utilisée en Intelligence Artificielle à l'échelle microscopique car cette dernière utilise des données brutes bas niveau et demande donc des traitements souvent complexes afin de combler le fossé sémantique les séparant des comportements haut niveau. Ces deux types d'approches permettent chacune d'obtenir des informations différentes sur ce même objet d'étude qu'est le comportement de haut niveau. Nous montrons dans cette thèse que ces informations se complètent et que l'évaluation gagne à exploiter conjointement ces deux approches. Nous exposons en premier lieu une méthode d'évaluation semi-automatique de la qualité des comportements des agents. Elle s'appuie sur l'extraction automatique de classes de comportement. La méthode que nous proposons combine l'approche d'Intelligence Artificielle et celle de Sciences Humaines et Sociales. La première consiste en une observation objective des traces de simulation des humains pour construire - via des indicateurs données par des experts - des classes servant d'abstractions aux comportements haut niveau. La seconde, subjective, évalue les catégories d'utilisateurs par une annotation des comportements exhibés. Nous présentons ensuite un algorithme d'agrégation des agents aux classes d'humains qui servent de comportements de référence. Cet algorithme nous permet alors de comparer les agents par rapport aux humains en étudiant la composition de ces classes et ce afin d'évaluer les capacités, les manques et les erreurs du modèle d'agent. Nous fournissons des métriques basées sur ces types de classe ainsi que des taux de confiance en chaque classe. Puis nous explicitons ces comportements en nous appuyant sur les catégories d'utilisateur. Enfin, nous exposons un cycle de conception permettant la calibration automatique de la population d'agents par une exploration de l'espace des paramètres. Cette calibration est basée sur les métriques résultantes de notre méthode d'évaluation et sur des scores de représentativité des comportements des agents. Notre méthode d'évaluation est utilisable dans le but d'analyser un modèle d'agent, de comparer plusieurs modèles d'agent, ou d'évaluer les modifications apportées entre deux versions d'un même modèle. Nous avons appliqué cette méthodologie sur plusieurs études du comportement de conduite en vue d'analyser la simulation de trafic routier ARCHISIM et nous présentons des résultats qui montrent notamment la capacité de son modèle d'agent à reproduire le comportement normatif et le manque de comportements jugés comme dangereux.
Fichier principal
Vignette du fichier
darty_thesis.pdf (5.6 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-01176764 , version 2 (15-07-2015)
tel-01176764 , version 1 (14-10-2015)
tel-01176764 , version 3 (26-01-2016)

Identifiants

  • HAL Id : tel-01176764 , version 2

Citer

Kévin Darty. Évaluation de la qualité des comportements des agents en simulation : application à un simulateur de conduite en environnement virtuel. Intelligence artificielle [cs.AI]. Université Pierre et Marie Curie - Paris VI, 2015. Français. ⟨NNT : 2015PA066339⟩. ⟨tel-01176764v2⟩
925 Consultations
1644 Téléchargements

Partager

Gmail Facebook X LinkedIn More