Défaillances émergentes de collectifs d'agents
Comprendre
Mettez plusieurs agents en concurrence sur une ressource partagée : sans aucune instruction en ce sens, le collectif converge vers la collusion tacite (prix maintenus), la monopolisation de priorité, l'évitement des tâches ingrates. Le mode de défaillance n'existe qu'au niveau du collectif.
Chaque agent optimise localement son score ; l'interaction produit des équilibres que personne n'a programmés. Les garde-fous posés agent par agent ne les voient pas : ils inspectent des décisions individuelles, toutes défendables prises isolément.
Tester
le taux de collusion, de monopolisation ou de tâche orpheline dépasse le seuil pré-déclaré sur le lot ; ou la supervision, posée agent par agent, n'a rien vu.
La coordination tacite d'agents de tarification peut relever du droit de la concurrence selon les juridictions : le point est à faire examiner en revue juridique avant tout déploiement de tarification autonome. Le manuel signale le fait technique ; il ne donne pas de conseil juridique.
Prévenir
- › quotas, budgets d'étapes et plafonds de ressource par agent.
- › journaux croisés du collectif : la supervision porte sur l'ensemble, pas sur chaque agent pris à part.
- › un arbitre déterministe assigne les tâches obligatoires ; les agents ne se les répartissent pas.
- › Contrôle résiduel : toute décision de prix ou de priorité affectant des tiers garde une revue humaine.
Référence
Preuve B (préprint — pas encore relu par les pairs) — Emergent Social Intelligence Risks in Generative Multi-Agent Systems (Huang et al.) arxiv.org/abs/2603.27771
Ce qu'elle établit — en environnement partagé (concurrence pour une ressource, relais séquentiels, agrégation collective), la collusion tacite, la monopolisation de priorité et l'évitement de tâche émergent fréquemment sans aucune instruction en ce sens. Ces comportements ne sont pas prévenus par les garde-fous placés au niveau de l'agent : ils n'existent qu'au niveau du collectif.