Evolution of cooperation with partner choice in collective adaptive systems - Archive ouverte HAL Access content directly
Theses Year : 2021

Evolution of cooperation with partner choice in collective adaptive systems

Évolution de la coopération avec le choix du partenaire dans les systèmes adaptatifs collectifs

(1)
1

Abstract

The evolution of cooperation is a paradox from an evolutionary point of view. Indeed, all individuals in the living world should be interested only in their own interests. Helping another individual is therefore a waste of time and resources. How can we explain that some individuals act in a cooperative way? This thesis focuses on the mechanism of reciprocity named partner choice that allows the evolution of cooperative behavior. However, the constraints necessary for the evolution of this mechanism are strong and rarely respected. This thesis aims at extending the knowledge of these constraints through simulations in complex and realistic environments. The first contribution of this thesis extends the pre-existing partner choice models by adding the constraint of resource availability in the environment. In this case, it is no longer only the population density, but also the wealth of the environment that influences partner choice. In our second contribution, we extend the results obtained by the aspatial models. We study the impact of spatial environments on the dynamics of cooperation with partner choice. Partner choice requires individuals to be able to learn from rare events. In our third contribution, we compare the reward sparsity tolerance of a reinforcement learning algorithm and an evolutionary strategy algorithm. Our work shows the immense difficulty that reinforcement learning algorithms have in developing partner choice, unlike evolutionary strategies.
L’évolution de la coopération est un paradoxe du point de vue de l’évolution. En effet, tous les individus du vivant devraient être intéressés uniquement par leurs propres intérêts. Aider un autre individu est donc une perte de temps et de ressources. Comment expliquer que certains individus agissent de manière coopérative ? Cette thèse s'intéresse au mécanisme de réciprocité nommé le choix du partenaire qui permet l'évolution de comportements coopératifs. Cependant, les contraintes nécessaires à l'évolution de ce mécanisme sont fortes et rarement respectées. Cette thèse vise à étendre les connaissances de ces contraintes grâce à des simulations dans des environnements complexes et réalistes. La première contribution de cette thèse étend les modèles de choix du partenaire préexistants en ajoutant la contrainte de la disponibilité de ressources dans l'environnement. Dans ce cas, ce n’est plus seulement la densité de la population, mais aussi la richesse de l’environnement qui influence le choix du partenaire. Dans notre seconde contribution, nous étendons les résultats obtenus par les modèles aspatiaux. Nous étudions l’impact des environnements spatiaux sur la dynamique de la coopération avec le choix du partenaire. Le choix du partenaire requiert des individus de pouvoir apprendre à partir d'évènements rares. Dans notre troisième contribution, nous comparons la tolérance à la rareté des récompenses d'un algorithme d’apprentissage de renforcement et d'un algorithme de stratégie évolutive. Nos travaux montrent l’immense difficulté que les algorithmes d’apprentissage par renforcement ont à développer le choix du partenaire, au contraire des stratégies évolutionnaires.
Fichier principal
Vignette du fichier
ECOFFET_Paul_these_2021.pdf (3.15 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03681698 , version 1 (30-05-2022)

Identifiers

  • HAL Id : tel-03681698 , version 1

Cite

Paul Ecoffet. Evolution of cooperation with partner choice in collective adaptive systems. Artificial Intelligence [cs.AI]. Sorbonne Université, 2021. English. ⟨NNT : 2021SORUS091⟩. ⟨tel-03681698⟩
37 View
20 Download

Share

Gmail Facebook Twitter LinkedIn More