广义虚拟交叉博弈求解团队竞争全局纳什均衡

学习团队竞争博弈中的全局纳什均衡：广义虚拟交叉博弈方法

摘要

自博弈(SP)是竞争性游戏中常用的多智能体强化学习框架。尽管在实证中取得成功，但SP的理论特性仅限于双玩家设置。针对合作智能体团队相互竞争的团队竞争游戏，本文展示了一个反例：SP无法以高概率收敛到全局纳什均衡(NE)。

策略空间响应预言机(PSRO)是另一种通过迭代学习对先前策略的最佳响应(BR)来寻找NE的框架。通过学习团队BR，PSRO可以直接扩展到团队竞争游戏且保持收敛特性不变，但其从头开始的重复训练使其难以扩展到复杂游戏。

本研究提出广义虚拟交叉博弈(GFXP)，这是一种继承了两个框架优势的新算法。GFXP同时训练基于SP的主策略和反制种群。主策略通过虚拟自博弈和与反制种群的交叉博弈进行训练，而反制策略则作为对主策略检查点的BR进行训练。

在矩阵游戏和网格世界领域评估GFXP，结果显示其实现了最低的可开发性。进一步在具有挑战性的足球游戏中进行实验，GFXP以超过94%的胜率击败了现有最佳模型。

技术内容

该研究涉及以下核心技术要素：

多智能体强化学习框架：针对团队竞争博弈设计的新型训练范式

收敛性分析：通过反例证明传统自博弈方法在团队竞争场景中的局限性

算法架构：

• 主策略训练：结合虚拟自博弈和交叉博弈
• 反制种群机制：针对主策略检查点训练最佳响应
• 并行训练框架：同时优化主策略和反制策略

评估指标：采用可开发性(exploitability)作为核心评估指标，衡量策略与纳什均衡的差距

实验验证：在矩阵游戏、网格世界和复杂足球游戏环境中进行系统验证

实现效果

该方法在复杂环境中展现出显著优势：

• 在理论环境中达到最低可开发性
• 在足球游戏中实现94%以上的胜率
• 有效解决了团队竞争博弈中的收敛问题

[abs][pdf][bib]
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码