4、离散行动博弈中的无记忆学习与异步学习策略

离散行动博弈中的无记忆学习与异步学习策略

1. 无记忆学习基础

1.1 潜在博弈与效用函数

在离散行动博弈的研究中，我们关注潜在博弈$\Gamma = (N, {A_i}, {U_i}, \Phi)$。这里，效用函数$U_i : A \to \mathbb{R}$是有界的，即存在$M > 0$，使得$|U_i| \leq M$，$i \in [N]$。为了方便处理，我们可以将效用函数$U_i$转换到任意有限区间$[A, B]$，转换公式为：
$U_i \to \frac{(B - A)U_i + M}{2M} + A \in [A, B]$

1.2 无记忆学习与马尔可夫链

无记忆学习程序在潜在博弈中是研究的重点。我们借助马尔可夫链理论来研究这些算法。具体而言，在离散行动博弈里，我们使用时间齐次和非时间齐次有限状态马尔可夫链的基本结果来探究学习程序的性质。

1.3 规则扰动马尔可夫链

为了证明相关结果，我们引入规则扰动马尔可夫链的概念。考虑一个定义在有限状态空间$S$上的时间齐次、不一定遍历的马尔可夫链$P_0$。

定义 1.3.1

马尔可夫链$P(\epsilon) = { p_{ij}(\epsilon) } {i,j}$被称为与过程$P_0 = { p {ij}^0 } {i,j}$相关的规则扰动马尔可夫链，如果满足以下条件：
1. 对于任意$\epsilon > 0$，$P(\epsilon)$是遍历的。
2. 对于任意$i, j \in S$，$\lim {\epsilon