10、随机过程中的鞅、马尔可夫过程与多臂老虎机问题

随机过程中的鞅、马尔可夫过程与多臂老虎机问题

鞅的概念与应用

在随机过程的分析中，鞅是一个至关重要的概念。在随机过程里，时刻 $t + 1$ 的期望仅仅依赖于时刻 $t$ 的过程状态。

举个例子，假设 $x_t$ 代表你在某一时刻拥有的金钱数量，在每个时间步 $t$ 进行一次赌博，输赢 1 个货币单位的概率相等。那么在任何步骤 $t$，都有 $E(x_{t + 1} | x_t) = x_t$。这个概念可以推广到两个相互依赖的随机过程 $x_t$ 和 $y_t$。

鞅的定义

设 $x_n \in S_n$ 是具有分布 $P_n$ 的观测序列，$y_n : S_n \to R$ 是一个随机变量。若对于所有的 $n$，期望 $E(y_n) = \int_{S_n} y_n(x_n) dP_n(x_n)$ 存在，并且 $E(y_{n + 1} | x_n) = y_n$ 以概率 1 成立，那么序列 ${y_n}$ 关于 ${x_n}$ 是一个鞅。如果 ${y_n}$ 关于自身是鞅，即 $y_i(x) = x$，则简称为鞅。

上鞅和下鞅

序列 ${y_n}$ 若满足 $E(y_{n + 1} | x_n) \leq y_n$，则为上鞅；若满足 $E(y_{n + 1} | x_n) \geq y_n$（概率为 1），则为下鞅。

杜布鞅

考虑函数 $f : S_m \to R$ 和相关随机变量 $x_m \triangleq x_1, \ldots, x_m$。对于任意 $n \leq m$，假设期望 $E(f | x_n) = \int_{S_{m - n}} f(x_m) d