18、丰富的博弈表示：超越标准型和扩展型

丰富的博弈表示：超越标准型和扩展型

在博弈论中，有两种特殊的博弈类型值得深入探讨，它们分别是随机博弈和贝叶斯博弈，这两种博弈类型能更精准地模拟复杂的现实场景。

随机博弈

随机博弈是一个广泛的框架，它对马尔可夫决策过程（MDPs）和重复博弈进行了推广。MDP 可视为只有一个玩家的随机博弈，而重复博弈则是只有一个阶段博弈的随机博弈。

定义

随机博弈是一个元组 $(Q, N, A, P, R)$，各部分含义如下：
- $Q$：有限的博弈集合。
- $N$：有限的 $n$ 个玩家集合。
- $A = A_1 × · · · × A_n$，其中 $A_i$ 是玩家 $i$ 可用的有限行动集合。
- $P : Q × A × Q \to [0, 1]$：转移概率函数，$P(q, a, \hat{q})$ 表示在行动组合 $a$ 之后从状态 $q$ 转移到状态 $\hat{q}$ 的概率。
- $R = r_1, \cdots, r_n$，其中 $r_i : Q × A \to \mathbb{R}$ 是玩家 $i$ 的实值收益函数。

在这个定义中，假设所有博弈中玩家的策略空间相同，博弈之间的差异仅在于收益函数。将 $Q$ 和每个 $A_i$ 限制为有限集合是一个实质性的限制，但这样做是为了避免无限情况带来的复杂问题。对于玩家在每个阶段博弈的收益如何聚合为总体收益，常用的两种方法是平均奖励和未来贴现奖励。

策略和均衡

• 策略空间 ：设 $h_t = (q_0, a_0, q_1, a_1, \cdots, a