18、交换遗憾与极小极大定理

交换遗憾与极小极大定理

在博弈论中，均衡概念的可处理性是一个重要的研究方向。之前已经证明了粗相关均衡概念在一定意义上是可处理的，存在简单且计算高效的学习程序能快速收敛到有限博弈中的粗相关均衡集。本文将进一步探讨更严格的遗憾概念，并证明相关均衡概念以及在特殊的两人零和博弈中混合纳什均衡概念的可处理性。

1. 交换遗憾与相关均衡

• 相关均衡的定义 ：
  • 在成本最小化博弈中，结果集 (S_1 × · · · × S_k) 上的分布 (\sigma) 是相关均衡，当且仅当对于每个参与者 (i \in {1, 2, …, k}) 和交换函数 (\delta : S_i → S_i)，有 (E_{s∼\sigma}[C_i(s)] ≤ E_{s∼\sigma}[C_i(\delta(s_i), s_{-i})])。
  • 每个相关均衡都是粗相关均衡，但反之一般不成立。
• 交换遗憾的引入 ：
  • 为了找到能收敛到相关均衡集的动态过程，需要定义更严格的遗憾概念——交换遗憾。
  • 回顾在线决策问题模型，在每个时间步 (t = 1, 2, …, T)，决策者选择行动集 (A) 上的分布 (p_t)，对手选择成本函数 (c_t : A → [-1, 1])，最后根据 (p_t) 选择行动 (a_t)，产生成本 (c_t(a_t))。
  • 交换遗憾的定义 ：固定成本向量 (c_1, …, c_T)，行动序列 (a_1, …,