Reasoning about manipulation in multi-agent systems : an approach based on modal logics
Raisonner sur la manipulation dans les systèmes multi-agents : une approche fondée sur les logiques modales
Résumé
In recent decades, computer development has shifted from designing individual software to designing intelligent, self-contained software called agents and interacting with others to form multi-agent systems. In such systems, malicious agents sometimes implement complex strategies to induce other agents to make decisions in their favor, without the latter noticing them. We are talking about manipulation strategies. These strategies may in some cases cause problems for the agents which are victims. Such strategies are always hidden from agents and therefore hard to detect. How detect them and better fight them? Firstly, it is necessary to define manipulation. Thus, based on work from computer sciences and social sciences, we define manipulation as the deliberate intention of an agent to instrumentalize a victim while making sure to conceal that intent. We propose to answer this question, a logical system named KBE which expresses manipulation. We prove that KBE is correct and complete, and is able to express strategies based on knowledge and beliefs of agents, like lying or bullshiting. This system can also express notions such as coercion and persuasion. Secondly, since trust is a mechanism to regulate the interactions between agents when agents may be malicious or unreliable, we propose another logical system named TB. This system, proved to be correct and complete, expresses a notion of trust in sincerity which represents the choice of an agent to take the risk of believing another agent for its sincerity. Finally, we propose an algorithmic method to reason with such systems. This method is adapted to the TB system and decides on its satisfiability problem by directly using the constraints of the framework to build a model.
Ces dernières décennies, le développement informatique est passé de la conception de logiciels individuels, à la conception de logiciels intelligents, autonomes, appelés agents et interagissant avec d'autres en formant des systèmes multi-agents. Dans de tels systèmes, il arrive que des agents malintentionnés mettent en œuvre des stratégies complexes pour inciter d'autres agents à prendre des décisions en leur faveur et ce, sans que ces derniers ne s'en aperçoivent. Nous parlons alors de stratégies de manipulation. Ces stratégies peuvent dans certains cas causer des problèmes aux agents qui en sont victimes. De telles stratégies sont toujours dissimulées aux agents et donc difficiles à détecter. Comment les détecter et mieux les combattre ? Dans un premier temps, il est nécessaire de définir la manipulation. Ainsi, sur la base de travaux issus de l'informatique mais aussi des sciences sociales, nous définissons la manipulation comme l'intention délibérée d'un agent d'instrumentaliser une victime tout en veillant à lui dissimuler cette intention. Pour répondre à cette problématique, nous proposons un système logique nommé KBE. Ce système, prouvé correct et complet, permet alors d'exprimer et de raisonner sur la manipulation ainsi que sur des stratégies fondées sur les connaissances et les croyances des agents comme le mensonge ou le baratinage. Ce système nous permet également d'exprimer des notions connexes à la manipulation comme la coercition et la persuasion. Dans un second temps, puisque la confiance est un mécanisme permettant de réguler les interactions entre agents lorsque des agents sont malintentionnés ou non fiables, nous proposons un second système logique nommé TB. Ce système, correct et complet, exprime une notion de confiance en la sincérité qui représente le choix d'un agent de prendre le risque de croire un autre agent vis-à-vis de sa sincérité. Enfin, dans un dernier temps, nous proposons une méthode algorithmique pour raisonner avec de tels systèmes. Cette méthode est adaptée au système TB et décide de son problème de satisfiabilité en utilisant directement les contraintes du cadre pour construire un modèle.
| Origine | Version validée par le jury (STAR) |
|---|
Loading...