Language as a cognitive tool for open ended agents
Le langage comme outil cognitif pour les agents ouverts
Résumé
Humans have always invented tools to extend their physical and cognitive abilities. Early tools amplified bodily force, while later inventions like the abacus, Pascaline, and Babbage’s Analytical Engine supported mental tasks. The 20th century brought programmable computers, realizing Ada Lovelace’s vision of machine creativity. Today, large language models (LLMs) continue this trajectory, enabling advanced discovery and generation. Despite progress, current AI systems succeed only in human-defined domains, where problems and strategies are pre-specified. The long-term ambition is Artificial General Intelligence (AGI), where agents act effectively even without predefined goals. Achieving this requires open-ended agents: systems that autonomously explore, learn, and repurpose knowledge across their lifetimes. Humans exemplify this process, guided by curiosity, intrinsic motivation, and self-generated goals. Language plays a central role. It enables abstraction, reasoning, and planning, making it a powerful medium for open-ended discovery in artificial agents. To function, an open-ended agent must: (1) explore environments autonomously, (2) adapt to evolving rules, and (3) learn new skills efficiently as complexity grows. This thesis leverages language to advance open-ended agents across three dimensions: environment modelling, goal exploration, and efficient learning. First, LLMs are used both as embodied reinforcement learning agents and as hypothesis generators to improve world models. Second, language is employed to evaluate, generalize, and generate goals, supporting scalable curriculum learning. Third, novel methods use language for reward shaping and hierarchical control, enabling efficient policy learning and skill reuse. Overall, the thesis argues that language is not only a communication tool but a cognitive engine. By embedding LLMs into agent architectures, we move closer to autonomous systems capable of continuous learning, self-directed exploration, and adaptive lifelong discovery.
Les êtres humains ont toujours inventé des outils pour étendre leurs capacités physiques et cognitives. Les premiers outils amplifiaient la force physique, tandis que des inventions plus récentes, telles que l’abaque, la Pascaline et la machine analytique de Babbage, facilitaient les tâches mentales. Le XXe siècle a vu l’apparition des ordinateurs programmables, concrétisant ainsi la vision d’Ada Lovelace d’une créativité artificielle. Aujourd’hui, les grands modèles linguistiques (LLM) poursuivent cette trajectoire, permettant des découvertes et des générations avancées. Malgré les progrès réalisés, les systèmes d’IA actuels ne fonctionnent que dans des domaines définis par l’homme, où les problèmes et les stratégies sont prédéfinis. L’ambition à long terme est l’intelligence artificielle générale (AGI), où les agents agissent efficacement même sans objectifs prédéfinis. Pour y parvenir, il faut des agents ouverts : des systèmes qui explorent, apprennent et réutilisent de manière autonome les connaissances tout au long de leur vie. Les êtres humains illustrent ce processus, guidés par la curiosité, la motivation intrinsèque et des objectifs qu’ils se fixent eux-mêmes. Le langage joue un rôle central. Il permet l’abstraction, le raisonnement et la planification, ce qui en fait un moyen puissant pour la découverte ouverte chez les agents artificiels. Pour fonctionner, un agent ouvert doit : (1) explorer des environnements de manière autonome, (2) s’adapter à des règles en évolution et (3) acquérir efficacement de nouvelles compétences à mesure que la complexité augmente. Cette thèse exploite le langage pour faire progresser les agents ouverts dans trois dimensions : la modélisation de l’environnement, l’exploration des objectifs et l’apprentissage efficace. Premièrement, les LLMs sont utilisés à la fois comme agents d’apprentissage par renforcement incarnés et comme générateurs d’hypothèses pour améliorer les modèles du monde. Deuxièmement, le langage est utilisé pour évaluer, généraliser et générer des objectifs, ce qui favorise un apprentissage évolutif. Troisièmement, de nouvelles méthodes utilisent le langage pour la mise en forme des récompenses et le contrôle hiérarchique, ce qui permet un apprentissage efficace des politiques et la réutilisation des compétences. Dans l’ensemble, cette thèse soutient que le langage n’est pas seulement un outil de communication, mais aussi un moteur cognitif. En intégrant les LLMs dans les architectures des agents, nous nous rapprochons de systèmes autonomes capables d’apprendre en continu, d’explorer de manière autonome et de faire des découvertes adaptatives tout au long de leur vie.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
