Thèse Année : 2025

Building, evaluating and understanding socio-cultural AI : leveraging concepts and methods from human sciences

Construire, évaluer et comprendre l’IA socioculturelle : utiliser les concepts et méthodes des sciences humaines

Résumé

The recent evolution of artificial intelligence (AI) has led to its increasing integration into human culture. This growing presence of AI in human society raises important scientific questions - particularly those concerning the socio-cultural aspect of AI, which are crucial for better conceptualizing, evaluating, and designing future AI systems, as well as understanding their potential impact on the human society and culture. While this is a complex and nuanced topic, valuable insights can be drawn from psychology and human sciences, which have studied related aspects of socio-cultural behavior in humans and animals for decades. We explore three core scientific questions: What does an intelligent system need to enter a human culture? Drawing on developmental psychological theories by Michael Tomasello and Jerome Bruner, we outlined core socio-cognitive abilities that we believe are most relevant for current AI research. We introduced The SocialAI School - a tool for generating environments designed to support evaluation and development of these abilities in artificial agents. We demonstrated various usages of the SocialAI School with RL and LLM-based agents. Our experiments revealed limitations of standard RL agents, particularly in their inability to generalize to new contexts, and showed that while LLMs exhibit behavior somewhat consistent with correctly inferring social cues, a performance gap still remains. How can we characterize a culture encoded within an artificial system, such as a large language model (LLM)? We demonstrate that LLMs exhibit strong sensitivity to seemingly trivial context changes, which challenges the assumptions underlying many psychological questionnaires increasingly used to assess LLMs.We caution against naively using such questionnaires to drawgeneral conclusions about LLM behavior. To investigate this, we systematically compare LLMs based their sensitivity to trivial context changes, i.e. on the stability of values expressed by simulated personas over various contexts induced by simulated conversations on different topics. We observe that some model families - Qwen, Mixtral, Mistral, GPT-3.5 - consistently exhibited higher stability in various experimental setups. Then, we construct a leaderboard by further extending this methodology. The latest results suggest that, while rank-order stability may be approaching its ceiling in this suite, a persistent gap in validation scores points to either remaining room for improvement or a fundamental limitation in applying human-centric theories to LLMs. How does a human–AI culture change and evolve over time? Using the iterative chain design (a method adapted from the field of cultural evolution) we explored how different properties of human data influence the evolution of AI-generated content.We found that higher lexical diversity and greater gaussianity in human data were associated with increased deterioration over generations, while higher semantic diversity and overall data quality with smaller deterioration.We also observe that data properties from one domain had little influence on the data generated for another domain. These findings suggest that different parts of the internet may exhibit distinct evolutionary dynamics, shaped by the properties of the underlying human data. The three questions discussed in this thesis are inherently complex and interdisciplinary. We presented only initial steps toward addressing them, leaving many open questions about the socio-cognitive capacities, internal representations, and cultural impact of AI systems. These questions are of utmost importance, especially as such systems are increasingly influencing human society and culture.

L’évolution récente de l’intelligence artificielle (IA) a conduit à son intégration croissante dans la culture humaine. Cette présence accrue soulève d’importantes questions scientifiques – notamment socio-culturelles – cruciales pour conceptualiser, concevoir et évaluer les systèmes d’IA, ainsi que comprendre leur impact potentiel sur la société. Bien que ce sujet soit complexe et nuancé, des éclairages précieux viennent de la psychologie et des sciences humaines, qui étudient depuis longtemps le comportement socio-culturel humain et animal. Nous explorons trois questions scientifiques centrales : Quelles capacités un système intelligent doit-il posséder pour intégrer une culture humaine ? En nous appuyant sur les théories psychologiques du développement de Michael Tomasello et Jerome Bruner, nous avons identifié des compétences socio-cognitives fondamentales que nous jugeons particulièrement pertinentes pour la recherche actuelle en IA. Nous avons introduit The SocialAI School, un outil générant des environnements pour évaluer et développer ces capacités chez des agents. Nous avons démontré diverses utilisations de The SocialAI School avec des agents d’apprentissage par renforcement (RL) et des modèles de langage (LLM). Nos expériences ont mis en évidence les limites des agents RL classiques, notamment leur incapacité à généraliser à de nouveaux contextes. Nous avons aussi montré que, bien que les LLM manifestent des comportements partiellement compatibles avec l’inférence d’indices sociaux, un écart de performance subsiste. Comment caractériser une culture encodée dans un système artificiel, tel qu’un modèle de langage de grande taille (LLM) ? Nous montrons que les LLM présentent une forte sensibilité à des changements de contexte apparemment triviaux, ce qui remet en question les hypothèses sous-jacentes à de nombreux questionnaires psychologiques de plus en plus utilisés pour les évaluer. Nous mettons en garde contre l’usage naïf de ces questionnaires pour tirer des conclusions générales sur le comportement LLM. Pour cela, nous comparons systématiquement divers LLM selon la stabilité des valeurs exprimées par des personas simulés dans différents contextes. Nous observons que certaines familles de modèles – Qwen, Mixtral, Mistral, GPT-3.5 – manifestent une stabilité plus élevée dans différents dispositifs expérimentaux. Nous avons ensuite étendu la méthodologie pour construire un classement (leaderboard). Les résultats suggèrent que, bien que la stabilité relative semble plafonner, un écart persistant dans les scores de validation indique soit une marge d’amélioration, soit une limite des théories centrées sur l’humain appliquées aux LLM. Comment une culture humain–IA évolue-t-elle dans le temps ? En utilisant le design en chaîne itérative (une méthode adaptée du domaine de l’évolution culturelle), nous avons exploré comment différentes propriétés des données humaines influencent l’évolution du contenu généré par l’IA. Nous avons constaté qu’une plus grande diversité lexicale et une distribution plus gaussienne des données humaines étaient associées à une détérioration plus marquée au fil des générations, tandis qu’une plus grande diversité sémantique et une meilleure qualité des données entraînaient une détérioration plus faible. Nous avons aussi constaté que les propriétés d’un domaine influencent peu les données générées dans un autre. Ces résultats suggèrent que différentes parties d’internet suivent peut-être des dynamiques évolutives distinctes, façonnées par les propriétés des données sous-jacentes. Les trois questions abordées dans cette thèse sont fondamentalement complexes et interdisciplinaires. Nous n’en présentons ici que les premières étapes, laissant de nombreuses questions ouvertes concernant les capacités socio-cognitives, les représentations internes et l’impact culturel des systèmes d’IA [...]

Fichier principal
Vignette du fichier
KOVAC_GRGUR_2025.pdf (56.74 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
Licence

Dates et versions

tel-05449024 , version 1 (08-01-2026)

Licence

Identifiants

  • HAL Id : tel-05449024 , version 1

Citer

Grgur Kovač. Building, evaluating and understanding socio-cultural AI : leveraging concepts and methods from human sciences. Artificial Intelligence [cs.AI]. Université de Bordeaux, 2025. English. ⟨NNT : 2025BORD0258⟩. ⟨tel-05449024⟩
192 Consultations
133 Téléchargements

Partager

  • More