4、离散行动博弈中的无记忆学习与异步学习

离散行动博弈中的无记忆学习与异步学习

1. 无记忆学习基础

1.1 潜在博弈与效用函数

在离散行动博弈的无记忆学习研究中，我们考虑潜在博弈 $\Gamma = (N, {A_i}, {U_i}, \Phi)$。这里，每个参与者 $i \in [N]$ 的行动集 $A_i$ 是离散且有限的，效用函数 $U_i: A \to \mathbb{R}$ 是有界的，即存在 $M > 0$，使得 $|U_i| \leq M$，$i \in [N]$。为了方便处理，我们可以将 $U_i$ 转换到任意有限区间 $[A, B]$，转换公式为：
[U_i \to (B - A)\frac{U_i + M}{2M} + A \in [A, B]]

1.2 规则扰动马尔可夫链

为了证明相关结果，我们引入规则扰动马尔可夫链的概念。考虑一个时间齐次、不一定遍历的马尔可夫链 $P_0$，定义在有限状态空间 $S$ 上。

定义 1.2.1 ：马尔可夫链 $P(\epsilon) = { p_{ij}(\epsilon) } {i,j}$ 被称为与过程 $P_0 = { p {ij}^0 } {i,j}$ 相关的规则扰动马尔可夫链，如果满足以下条件：
1. 对于任意 $\epsilon > 0$，$P(\epsilon)$ 是遍历的。
2. 对于任意 $i, j \in S$，$\lim {\epsilon \to 0^+} p_{ij}(\epsilon) = p_{ij}^0$。
3. 若对于某个 $\epsilon > 0