Discovering Multiagent Learning Algorithms with Large Language Models

文章核心总结与创新点

一、主要内容

本文针对多智能体强化学习（MARL）中不完美信息博弈算法依赖人工迭代优化的痛点，提出基于大语言模型（LLM）驱动的进化框架AlphaEvolve，实现多智能体学习算法的自动化发现。研究将该框架应用于两大主流博弈求解范式，成功进化出两款性能超越现有基线的新型算法，并通过多组游戏基准测试验证了其有效性与泛化能力。

1. 问题背景：传统MARL核心算法（如CFR和PSRO）的变体优化依赖人工直觉与试错，难以遍历庞大的算法设计空间，常采用非最优的启发式规则（如固定折扣系数、线性平均）。
2. 核心框架：AlphaEvolve以算法源代码为“基因组”，通过LLM执行语义级突变（重写逻辑、引入新控制流），结合进化算法的选择压力，实现从参数调优到符号级代码进化的跨越。
3. 算法进化成果：
   • 针对迭代遗憾最小化范式，进化出VAD-CFR算法，通过波动性自适应折扣、非对称瞬时增强等机制，在11个游戏中的10个超越现有基线。
   • 针对种群训练范式，进化出SHOR-PSRO算法，通过混合元求解器与动态退火策略，自动化探索-利用转换，在8个游戏中表现最优。
4. 实验验证：基于OpenSpiel框架，在Kuhn Poker、Leduc Poker等11类游戏中完成训练与测试，以“可利用性”（Exploitabilit