博弈（Game）**：由参与者（Players）、策略集（Strategy Sets）、收益函数（Payoff Functions）构成的三元组

博弈论是研究理性决策者在相互影响情境下如何选择策略的数学理论。其核心概念包括：

• 博弈（Game）：由参与者（Players）、策略集（Strategy Sets）、收益函数（Payoff Functions）构成的三元组。
• 纳什均衡（Nash Equilibrium）：一种策略组合，其中任一玩家单方面偏离其策略都无法获得更高收益；即每个玩家的策略都是对他人策略的最优响应。
• 完全信息 vs 不完全信息：前者指所有玩家知晓博弈结构与他人收益；后者（如扑克）存在私人信息（如手牌），需引入贝叶斯博弈建模。
• 零和博弈（Zero-sum Game）：一方收益等于另一方损失，总和恒为0；常用于二人对抗场景，存在确定性最小最大解。
• 扩展式博弈（Extensive-form Game）：用博弈树表示，含行动顺序、信息集（Information Sets，刻画不完美信息）、概率节点（Chance nodes）等，适用于序贯决策（如德州扑克）。

遗憾最小化（Regret Minimization） 是在线学习与博弈均衡求解中的关键思想：

• 即时遗憾（Immediate Regret）：在某一轮中，若采用某纯策略 $a$ 而非实际选择的策略 $a_t$，所损失的收益差：$r^t(a)=u^t(a)-u^t(a_t)$。
• 累计遗憾（Cumulative Regret）：对策略 $a$ 在 $T$ 轮内的总遗憾 $R^T(a)={\sum }_{t=1}^T{r}^t(a)$。
• 外部遗憾（External Regret）：衡量是否应始终采用某一固定策略优于历史实际序列；若所有 $R^T(a)\le o(T)$，则平均策略收敛至近似纳什均衡（在零和博弈中）。

虚拟遗憾最小化（Counterfactual Regret Minimization, CFR） 是专为不完全信息扩展式博弈设计的高效迭代算法：

• 核心思想：在每个信息集（而非每个节点）上独立运行遗憾最小化（常用 regret-matching 或 RM+）；
• 反事实价值（Counterfactual Value）：衡量在“到达该信息集且采取某动作”的前提下，后续最优期望收益（加权了到达该信息集的概率及对手/随机事件的策略）；
• 反事实遗憾（Counterfactual Regret）：$R_i^T(I,a)={\sum }_{t=1}^T{\rho }_i^{-t}(I)r_i^t(I,a)$，其中 ${\rho }_i^{-t}(I)$ 是第 $t$ 轮中玩家 $i$ 未控制路径（即对手与 chance 节点）的到达概率乘积，用于无偏估计；
• 更新方式：每轮遍历博弈树（通常使用蒙特卡洛采样变体 CFR+ 或 Pure CFR），计算各信息集的反事实遗憾，按 regret-matching 规则更新策略；
• 收敛性：CFR 保证平均策略（或线性 CFR 的加权平均）随 $T\to \infty$ 收敛至纳什均衡（在两人零和博弈中）。

CFR 及其改进（CFR+, DREAM, Deep CFR）已成为解决大规模不完美信息博弈（如 Heads-up No-Limit Texas Hold’em）的基石，AlphaZero 类算法则侧重于完美信息马尔可夫博弈。

# 简化版 CFR 中 regret-matching 更新伪代码（单信息集）
def regret_matching(regrets):
    # regrets: dict{action -> float}, 可为负
    positive_regret_sum = sum(max(0, r) for r in regrets.values())
    if positive_regret_sum == 0:
        return {a: 1.0 / len(regrets) for a in regrets}
    return {a: max(0, r) / positive_regret_sum for a, r in regrets.items()}

这是一个深刻且关键的问题，触及 CFR 理论根基与实际应用的张力。

为什么平均策略收敛到纳什均衡，而当前策略（last iterate）不一定收敛？

根本原因在于：CFR 是一种在线 regret minimization 过程，其每轮策略更新仅基于局部遗憾信号，不保证单步策略具有全局稳定性；而纳什均衡要求所有玩家策略互为精确最优响应——这需要“平滑化”历史波动。

• ✅ 平均策略收敛性（由 Blackwell’s Approachability 或 Hart–Mas-Colell 定理保证）：
  CFR 在每个信息集上最小化外部反事实遗憾。若所有玩家在 $T$ 轮内对每个动作 $a$ 的累计反事实遗憾满足 $R^T(I,a)=o(T)$，则其均匀平均策略 ${\bar{\sigma }}^T=\frac{1}{T}{\sum }_{t=1}^T{\sigma }^t$ 构成一个 ${\epsilon }_T$-纳什均衡，其中 ${\epsilon }_T\to 0$（对两人零和博弈，${\epsilon }_T=O(1/\sqrt{T})$）。
  直观上，平均策略“稀释”了单轮策略的偏差，使对手无法通过固定策略持续剥削——因为任何可剥削方向都已被历史遗憾所抑制。

• ❌ 当前策略（last iterate）不收敛的典型反例：
  在简单博弈（如 Matching Pennies 扩展式版本或循环博弈）中，CFR 的瞬时策略常呈现振荡行为（如在两个纯策略间交替），因其 regret-matching 对正遗憾敏感、缺乏阻尼机制。数学上，CFR 不满足单调性或收缩性（contraction），无法保证迭代映射是 Banach 压缩；它甚至不保证目标函数（如对偶间隙）单调下降。
  例如：在 Rock-Paper-Scissors 的扩展式建模中，${\sigma }^t$ 可能周期性地偏向 Rock → Paper → Scissors，永不静止，但其平均始终趋近于 $(1/3,1/3,1/3)$。

• 🔑 关键区分：

  • 平均策略 → 统计意义下的“群体行为”，具博弈论解释力（可被对手无法显著剥削）；
  • 当前策略 → 单次决策规则，反映最新学习状态，但受噪声、路径依赖与非凸结构影响，缺乏收敛保障。

是否存在收敛更快的变体？——是的，且已取得显著进展：

算法	加速机制	收敛速率提升	备注
CFR+（Tammelin et al., 2015）	使用 regret-matching+（忽略负遗憾）、线性权重平均（${\bar{\sigma }}^T\propto \sum t\cdot {\sigma }^t$）、不回溯更新	实践中快数倍至数十倍；理论仍为 $O(1/\sqrt{T})$，但常数大幅减小	当前最广泛使用的基线
Linear CFR（Tammelin, 2014）	权重按轮次线性递增（第 $t$ 轮权重为 $t$）	平均策略收敛率提升至 $O(1/T)$（在特定范数下）	需存储加权策略，内存开销略增
Discounted CFR (DCFR)（Brown & Sandholm, 2019）	对历史遗憾施加指数衰减因子（如 ${\gamma }_t=t^{\alpha }/(t+1{)}^{\alpha }$），并调整权重	理论证明可达 $O(1/T^{1-\delta })$（$\delta >0$），实践中更稳定快速	$\alpha ,\beta ,\gamma$ 三参数需调优
Outcome-Sampling CFR (OS-CFR)	每轮只采样一条完整路径（而非遍历整棵树），降低单轮复杂度	时间复杂度从 $O(	\mathcal{I}
Mirror Descent CFR / Regret-Dependent MD	将 CFR 解释为镜像下降（MD）在树形策略空间上的实现，采用自适应步长与 KL 散度正则项	可达 $O(1/T)$ 最优速率（在强凸正则下）；理论更统一	需计算树形投影，实现较复杂

⚠️ 注意：“更快”主要指实践收敛速度（达到同等精度所需轮次/时间）；在最坏情况下，多数变体仍保持 $O(1/\sqrt{T})$ 下界（因在线凸优化本质限制），但常数与实际震荡幅度显著改善。

此外，近年工作（如 DREAM, Neural CFR）尝试用神经网络拟合价值函数或策略，将 CFR 的“树遍历”替换为“网络推理”，在保持收敛性的同时极大提升单轮效率——但这属于架构融合，而非纯粹 CFR 迭代变体。