24、随机过程示例及相关概念解析

随机过程示例及相关概念解析

1. 马尔可夫链基础

1.1 马尔可夫过程定义

设 (X = {X_t ∶t ∈T}) 是概率空间 ((Ω, , P)) 上的随机过程，(X_t) 是取值于状态空间 (S) 的随机变量。若对于任意 (s,t\in T)（(s < t)），任意 (H\in _s) 和 (x\in S)，有 (P(X_t ∈A|H, X_s = x) = P(X_t ∈A|X_s = x))（对所有 (A\subset S)），则称随机过程 (X) 为马尔可夫过程，此性质即马尔可夫性质。直观上，若已知当前状态，过去事件的额外信息对预测未来无关。

当时间空间 (T = IN) 且状态空间 (S) 可数时，马尔可夫过程称为马尔可夫链。对于马尔可夫链 (X = (X_0, X_1, …))，有 (P(X_{n + 1} = y|X_0 = x_0, X_1 = x_1, … , X_{n - 1} = x_{n - 1}, X_n = x) = P(X_{n + 1} = y|X_n = x))。

1.2 转移概率矩阵

设 (p_{ij}) 为过程处于状态 (i) 时下一步转移到状态 (j) 的固定概率，即 (P(X_{n + 1} = j|X_n = i) = p_{ij})，且 (p_{ij} \geq 0)，(\sum_{j = 0}^{\infty} p_{ij} = 1)。转移概率矩阵 (P) 表示为：
[
P =
\begin{pmatrix}
p_{00} & p_{01} & \cdots & p_{0n} & \cdots \
p_{10} & p_{11} & \cdots & p_{1n} & \cdots \
\vdots & \vdots & \ddots & \vdots & \cdots \
p_{i0} & p_{i1} & \cdots & p_{in} & \cdots \
\vdots & \vdots & \cdots & \vdots & \ddots
\end{pmatrix}
]
若 (P) 是状态空间 (S) 上的矩阵，且 (P) 非负，(\sum_{y\in S} P(x, y) = 1)（对 (x\in S)），则 (P) 为转移概率矩阵或随机矩阵。此时，对于每个 (x\in S)，(y \to P(x, y)) 是 (S) 上的概率密度函数。

注：若 (P) 和 (Q) 是 (S) 上的转移概率矩阵，(f) 是 (S) 上的概率密度函数，则 (PQ) 是转移概率矩阵，(P^n) 是转移概率矩阵（(n\in IN)）。

1.3 马尔可夫过程示例

1.3.1 天气预报

假设明天下雨的概率仅取决于今天是否下雨，若今天下雨，明天下雨概率为 (\alpha)；若今天不下雨，明天下雨概率为 (\beta)。令下雨状态为 (0)，不下雨状态为 (1)，则转移概率矩阵为：
[
P =
\begin{pmatrix}
\alpha & 1 - \alpha \
\beta & 1 - \beta
\end{pmatrix}
]

1.3.2 随机游走模型

状态空间为整数集 ({0, \pm1, \pm2, …}) 的马尔可夫链，若对于 (0 < p < 1) 有 (p_{i, i + 1} = 1 - p_{i, i - 1})，则称为随机游走。可看作一个人在直线上行走，每时刻以概率 (p) 向右走一步，以概率 (1 - p) 向左走一步。

1.3.3 赌博模型

赌徒每次游戏以概率 (p) 赢 (1)，以概率 (1 - p) 输 (1)。当赌徒输光或赢得 (N) 时停止游戏，其财富构成马尔可夫链，转移概率为 (p_{i, i + 1} = p = 1 - p_{i, i - 1})（(i = 1, 2, … , N - 1)），(p_{00} = p_{NN} = 1)。状态 (0) 和 (N) 为吸收状态，一旦进入就不会离开。

1.4 查普曼 - 柯尔莫哥洛夫方程

设 (X = (X_0, X_1, X_2, …)) 是状态空间为 (S) 的马尔可夫链，对于 (m, n\in IN)（(m \leq n)），定义 (P_{m, n}(x, y) = P(X_n = y|X_m = x))，(P_{m, n}) 是从时间 (m) 到时间 (n) 的转移概率矩阵。

定理：若 (k, m, n) 是非负整数且 (k \leq m \leq n)，则 (P_{k, m}P_{m, n} = P_{k, n})。

推论：所有转移概率矩阵可由一步转移概率矩阵得到，即 (P_{m, n} = P_{m, m + 1}P_{m + 1, m + 2} \cdots P_{n - 1, n})。

一般地，(n) 步转移概率 (P_{i, j}^n = P(X_{n + k} = j|X_k = i))（(n \geq 0)，(i, j \geq 0)），查普曼 - 柯尔莫哥洛夫方程为 (P_{i, j}^{n + m} = \sum_{k = 0}^{\infty} P_{i, k}^n P_{k, j}^m)。

例如，在天气预报中，若 (\alpha = 0.8)，(\beta = 0.4)，一步转移概率矩阵为：
[
P =
\begin{pmatrix}
0.8 & 0.2 \
0.4 & 0.6
\end{pmatrix}
]
则 (P^{(4)} = P^4 =
\begin{pmatrix}
0.6752 & 0.3248 \
0.6496 & 0.3594
\end{pmatrix}
]
今天下雨，四天后下雨的概率为 (P^{(4)}_{00} = 0.6752)。

1.5 状态分类

1.5.1 可达性与通信性

• 若存在 (n \geq 0) 使得 (P_{i, j}^n > 0)，则称状态 (j) 可从状态 (i) 到达。
• 若两个状态相互可达，则称它们通信。
• 通信的状态属于同一类。
• 若马尔可夫链只有一个类，则称其为不可约的。

注：每个状态与自身通信，若状态 (j) 与状态 (i) 通信，则状态 (i) 与状态 (j) 通信；若状态 (i) 与状态 (j) 通信，状态 (j) 与状态 (k) 通信，则状态 (i) 与状态 (k) 通信。

例如，对于转移概率矩阵：
[
P =
\begin{pmatrix}
1/3 & 2/3 & 0 & 0 \
2/3 & 1/3 & 0 & 0 \
1/4 & 1/4 & 1/4 & 1/4 \
0 & 0 & 0 & 1
\end{pmatrix}
]
该马尔可夫链的类为 ({0, 1})，({2})，({3})。状态 (3) 是吸收状态，其他状态不可从它到达。

1.5.2 常返性与瞬变性

设 (f_i) 为从状态 (i) 出发过程最终回到状态 (i) 的概率。若 (f_i = 1)，则称状态 (i) 是常返的；若 (f_i < 1)，则称状态 (i) 是瞬变的。

定理：若 (\sum_{n = 1}^{\infty} P_{ii}^n = \infty)，则状态 (i) 是常返的；若 (\sum_{n = 1}^{\infty} P_{ii}^n < \infty)，则状态 (i) 是瞬变的。

推论：若状态 (i) 是常返的，且与状态 (j) 通信，则状态 (j) 是常返的；若状态 (i) 是瞬变的，且与状态 (j) 通信，则状态 (j) 是瞬变的。有限不可约马尔可夫链的所有状态都是常返的。

1.6 极限概率

在天气预报示例中，(P^{(4)} = P^4 =
\begin{pmatrix}
0.6752 & 0.3248 \
0.6496 & 0.3594
\end{pmatrix}
)，(P^{(8)} = P^{(4)} \cdot P^{(4)} =
\begin{pmatrix}
0.667 & 0.333 \
0.666 & 0.334
\end{pmatrix}
)，可猜测矩阵元素有极限。

1.6.1 相关定义

• 若 (P_{ii}^n = 0)（当 (n) 不能被 (d) 整除时），且 (d) 是具有此性质的最大整数，则称状态 (i) 的周期为 (d)。周期为 (1) 的状态称为非周期的。
• 若状态 (i) 是常返的，且从 (i) 出发回到状态 (i) 的期望时间有限，则称状态 (i) 是正常返的。
• 正常返非周期状态称为遍历的。

1.6.2 定理

对于不可约遍历的马尔可夫链，(\lim_{n \to \infty} P_{ij}^n) 存在且与 (i) 无关。令 (\pi_j = \lim_{n \to \infty} P_{ij}^n)（(j \geq 0)），则 (\pi_j) 是 (\pi_j = \sum_{i = 0}^{\infty} \pi_i P_{ij})（(j \geq 0)）和 (\sum_{j = 0}^{\infty} \pi_j = 1) 的唯一非负解。

在天气预报中，若今天下雨明天也下雨的概率为 (\alpha)，今天不下雨明天也下雨的概率为 (\beta)，则极限概率 (\pi_0 = \frac{\beta}{1 + \beta - \alpha})，(\pi_1 = \frac{1 - \alpha}{1 + \beta - \alpha})。例如，当 (\alpha = 0.75)，(\beta = 0.35) 时，下雨的极限概率 (\pi_0 = 0.35 / (1 + 0.35 - 0.75) = 0.5833)。

1.7 分支过程

考虑一个由能产生同类后代的个体组成的种群。每个个体以概率 (P_j)（(j \geq 0)）产生 (j) 个新后代，且与其他个体产生的后代数量无关。初始个体数量 (X_0) 称为第 (0) 代的大小，第 (0) 代的所有后代构成第 (1) 代，数量记为 (X_1)，以此类推，(X_n)（(n = 0, 1, …)）是状态空间为非负整数集的马尔可夫链。

设 (\mu = \sum_{j = 0}^{\infty} jP_j) 表示单个个体的平均后代数量，(\sigma^2 = \sum_{j = 0}^{\infty} (j - \mu)^2 P_j) 表示单个个体后代数量的方差。

假设 (X_0 = 1)，通过条件期望计算可得 (E(X_n) = \mu^n)。方差计算如下：
当 (\mu \neq 1) 时，(Var(X_n) = \sigma^2 \mu^{n - 1} \frac{1 - \mu^n}{1 - \mu})；当 (\mu = 1) 时，(Var(X_n) = n\sigma^2)。

设 (\pi_0) 为在 (X_0 = 1) 假设下种群灭绝的概率，即 (\pi_0 = \lim_{n \to \infty} P(X_n = 0|X_0 = 1))。若 (\mu < 1)，则 (\pi_0 = 1)；当 (\mu > 1) 时，(\pi_0 < 1)，且可通过 (\pi_0 = \sum_{j = 0}^{\infty} \pi_0^j P_j) 确定 (\pi_0)。

例如，若 (P_0 = 1/2)，(P_1 = P_2 = 1/4)，则 (\mu = 3/4 < 1)，(\pi_0 = 1)；若 (P_0 = P_1 = 1/4)，(P_2 = 1/2)，则 (\pi_0 = 1/4 + 1/4\pi_0 + 1/2\pi_0^2)，最小解为 (\pi_0 = 1/2)。

1.8 时间齐次链

若马尔可夫链 (X = (X_0, X_1, X_2, …)) 从时间 (m) 到时间 (n) 的转移矩阵仅取决于 (n - m)（(m, n) 为非负整数且 (m \leq n)），即 (P(X_n = y|X_m = x) = P(X_{n - m} = y|X_0 = x))，则称该马尔可夫链是时间齐次的。此时存在一个单一的一步转移概率矩阵 (P)，(P(x, y) = P(X_{n + 1} = y|X_n = x))，其他转移矩阵可表示为 (P) 的幂。

马尔可夫链相关概念总结表格

概念	定义
马尔可夫过程	满足 (P(X_t ∈A
转移概率矩阵	非负且每行元素和为 (1) 的矩阵 (P)，(P(x, y)) 表示从状态 (x) 到状态 (y) 的转移概率
可达性	存在 (n \geq 0) 使 (P_{i, j}^n > 0)，则状态 (j) 可从状态 (i) 到达
常返性	从状态 (i) 出发最终回到状态 (i) 的概率为 (1)，即 (f_i = 1)
极限概率	(\pi_j = \lim_{n \to \infty} P_{ij}^n)，满足 (\pi_j = \sum_{i = 0}^{\infty} \pi_i P_{ij}) 和 (\sum_{j = 0}^{\infty} \pi_j = 1)
分支过程	描述种群后代数量变化的马尔可夫链
时间齐次链	转移矩阵仅取决于时间差的马尔可夫链

马尔可夫链状态转移流程图（mermaid 格式）

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A([状态 i]):::startend -->|p_ij| B([状态 j]):::startend

以上介绍了马尔可夫链的基本概念、示例、状态分类、极限概率以及分支过程等内容，为进一步理解随机过程提供了基础。接下来将介绍其他随机过程，如鞅、简单随机游走和布朗运动等。

2. 其他随机过程

2.1 鞅

2.1.1 鞅的定义

设 ((Ω, , P)) 是一个概率空间，长度为 (n) 的鞅序列是一组变量 (X_1, X_2, … , X_n) 以及对应的 (\sigma) - 代数 ( 1, _2, … , _n)，需满足以下关系：
1. 每个 (X_i) 是可积的随机变量，且适应于对应的 (\sigma) - 代数 (_i)。
2. (_i) 构成一个滤子。
3. 对于每个 (i\in[1, 2, … , n - 1])，有 (X_i = E[X {i + 1}|_i])。

这个过程的特性是，基于我们当前所掌握的信息，对未来的期望值等同于该过程当前已知的值。在法语里，“martingale” 意味着一种获胜策略。这是因为对于赌徒而言，鞅是一种下注策略，即玩家每次输钱后就将赌注加倍。玩家采用此策略是认为，既然最终会赢，那么就必定能赚钱。

2.1.2 鞅的示例

• 设 (X_{t + 1} = X_t ± b_t)，其中 (+b_t) 和 (-b_t) 出现的概率相等，(b_t) 关于 ( t) 可测，且结果 (±b_t) 关于 ( {t + 1}) 可测（也就是说，“赌注” (b_t) 仅能依赖于到目前为止发生的情况，而不能依赖于未来，但我们的信息 (_t) 包含了所有过去赌注的结果），那么 ({X_t|_t}) 是一个鞅。
• 随机 (\pm1) 游走是一个鞅。

2.2 简单随机游走

2.2.1 简单随机游走的定义

随机游走是一个随机序列 ({X_n})，定义为 (X_n = \sum_{t = 1}^{n} X_t)，其中 (X_t) 是独立同分布（i.i.d）的随机变量。若 (X_t = ±1)，且 (P(X_t = 1) = p)，(P(X_t = -1) = 1 - p)，则该随机游走为简单随机游走。若粒子向每个相邻位置移动的概率相同，则简单随机游走是对称的。

2.2.2 简单随机游走的性质

简单随机游走既是一个鞅，即 (E(X_{t + s}|X_t) = X_t)；也是一个平稳马尔可夫过程，即 (X_{t + s}|X_t = k_t, … , X_1 = k_1) 的分布仅依赖于 (k_t) 的值。

2.3 布朗运动（维纳过程）

2.3.1 布朗运动的定义

设 ((Ω, , P)) 是一个概率空间，布朗运动 (B_t) 是一个连续时间随机过程，具有以下性质：
1. (B_0 = 0)。
2. 以概率 (1) 保证，函数 (t \to B_t) 关于 (t) 连续。
3. 过程 (B_t) 具有平稳且独立的增量。
4. 增量 (B_{t + s} - B_s) 服从 (N(0, t)) 分布，其中 (N(0, t)) 表示均值为 (0)、方差为 (t) 的正态分布。

3. 可测函数与期望

3.1 可测函数

由于 (Ω) 可能非常复杂，通常考虑从 (Ω) 到一个更简单空间 (Λ)（通常 (Λ = IR^k)）的函数（映射）会更方便。设 (B \subset Λ)，则 (f) 下 (B) 的逆像为 (f^{-1}(B) = {ω\inΩ ∶f(ω) \in B})。

设 ((Ω, , ν)) 和 ((Λ, , μ)) 是可测空间，(f) 是从 (Ω) 到 (Λ) 的函数。若 (f^{-1}() \subset )，则称 (f) 为可测函数。随机变量是可测函数。

3.2 可测函数的性质

• 设 ((Ω, , ν)) 是可测空间，则 (f ∶Ω \to IR) 是 Borel 可测的，当且仅当 (f^{-1}(a, ∞) \in ) 对所有 (a \in IR) 成立。此条件等价于 (f^{-1}() \subset )，其中 () 是 Borel (\sigma) - 代数，即由 (IR) 的开集生成的最小 (\sigma) - 代数。
• 若 (f) 和 (g) 是 Borel 可测的，则 (fg) 和 (af + bg)（(a, b) 为实数）也是 Borel 可测的，并且在 (g(ω) \neq 0) 的条件下，(f/g) 也是 Borel 可测的。

3.3 诱导测度与分布

设 ((Ω, , ν)) 是可测空间，(f) 是从 ((Ω, , ν)) 到 ((Λ, , μ)) 的可测函数，(f) 诱导的测度 (ν ∘ f^{-1}) 是 () 上的一个测度，定义为 (ν ∘ f^{-1}(B) = ν(f^{-1}(B)))，(B \in )。

若 (ν = P) 是一个概率测度，(X) 是一个随机变量或随机向量，则 (P ∘ X^{-1}) 称为 (X) 的分布律或分布，记为 (F_X)。(P_X) 的累积分布函数（c.d.f）定义为 (F(x) = P((-∞, x])) 或 (F(x_1, … , x_k) = P((-∞, x_1] × · · · × (-∞, x_k]))，(x_i \in R)。

3.4 积分性质

设 ((Ω, , ν)) 是可测空间，(f) 和 (g) 是 Borel 可测函数，则：
- 若 (\int f dν) 存在，(a \in IR)，则 (\int (af)dν) 存在且等于 (a \int f dν)。
- 若 (\int f dν) 和 (\int g dν) 都存在，则 (\int f dν + \int g dν) 有定义，且 (\int (f + g)dν) 存在并等于 (\int f dν + \int g dν)。

随机过程相关概念总结表格

随机过程	定义	主要性质
鞅	一组变量 (X_1, X_2, … , X_n) 及对应 (\sigma) - 代数 (_1, _2, … , _n) 满足特定关系	(X_i = E[X_{i + 1}
简单随机游走	(X_n = \sum_{t = 1}^{n} X_t)，(X_t = ±1) 且独立同分布	既是鞅又是平稳马尔可夫过程
布朗运动	连续时间随机过程 (B_t) 满足特定性质	(B_0 = 0)，增量平稳独立且服从正态分布

随机过程关系流程图（mermaid 格式）

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(马尔可夫链):::startend --> B(鞅):::process
    A --> C(简单随机游走):::process
    A --> D(布朗运动):::process
    C --> B

综上所述，我们介绍了多种随机过程，包括马尔可夫链、鞅、简单随机游走和布朗运动等，以及可测函数和期望的相关概念。这些随机过程在不同领域都有广泛的应用，如金融、物理、生物等。理解它们的性质和特点，有助于我们更好地分析和解决实际问题。