随机过程复习（三）离散时间马尔可夫过程

欢喜h~

于 2023-11-30 21:15:28 发布

阅读量772

点赞数 1

分类专栏：随机过程文章标签：概率论

本文链接：https://blog.youkuaiyun.com/weixin_50911531/article/details/134720593

版权

随机过程专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了马尔可夫链的定义、转移概率矩阵、C-K方程、状态的分类（包括吸收态、可达性与周期性）、首达时间和平稳分布的概念。重点阐述了不可约链和遍历状态的特点，以及平稳分布的性质和极限分布的存在条件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 定义

如果随机序列 $\{X_n,n\geqslant 0\}$ 对任意 $i_0,i_1,...,i_n,i_{n+1}\in S;n\in\mathbb{N}_0$ 及 $P\{X_0=i_0, X_1=i_1,...,N_n=i_n\}>0$ ，有

$\begin{aligned}&P\{X_{n+1}=i_{n+1}\mid X_0=i_0,X_1=i_1,\cdots,X_n=i_n\}\\=&P\{X_{n+1}=i_{n+1}\mid X_n=i_n\}\end{aligned}$

则称其为马尔可夫链。

$\forall i,j\in S$ ，称 $P\{X_{n+1}=j|X_n~=~i\}=p_{ij}(n)$ 为n时刻的一步转移概率。若对 $\forall i,j\in S$ ， $p_{ij}(n)=p_{ij}$ ，即一步转移概率 $p_{ij}(n)$ 与当前时刻n无关，则称 $\{X_n,n\geq 0\}$ 为齐次马尔可夫链。记 $\mathbf{P}=(p_{ij})$ ，称P为 $\{X_n,n\geqslant 0\}$ 的一步转移概率矩阵，简称转移矩阵。

2. 转移概率矩阵

设 $\{X_n,n\geqslant 0\}$ 为马尔可夫链， $\mathbf{P}=(p_{ij})$ ，其中 $p_{ij}=P\{X_{n+1}=j|X_n=i\}$ 是一步转移概率。显然，对于 $i,j\in S$ ，有

$p_{ij}\geqslant0(i,j\in S),\quad\sum_{j\in S}p_{ij}=1$

$\mathbf{P}=(p_{ij})$ 是一随机矩阵。

记 $\pi_i(n)=P(X_n=i),\quad\pi(n)=(\pi_1(n),\pi_2(n),\cdots,\pi_i(n),\cdots)$ ，则 $\pi(n)$ 表示n时刻随机序列 $\{X_n,n\geqslant 0\}$ 的概率分布向量。称 $\{\pi_i(0),i\in S\}$ 为马尔可夫链的初始分布。

有

$\begin{aligned}\pi(n+1)&=&\pi(n)P\\\pi(n)&=&\pi(0)P^n\end{aligned}$

3. C-K方程

记 $p_{ij}^{(m)}=P(X_{n+m}=j|X_n=i)$ 为齐次马尔可夫链 $\{X_n,n\geqslant 0\}$ 的m步转移概率； $\mathbf{P}^{(m)}=(p_{ij}^{(m)})$ 为m步转移概率矩阵。则：

$p_{ij}^{(m+n)}=\sum_{k\in S}p_{ik}^{(m)}p_{kj}^{(n)}$

$\boldsymbol{P}^{(m+n)}=\boldsymbol{P}^{m+n}=\boldsymbol{P}^m\boldsymbol{P}^n=\boldsymbol{P}^{(m)}\boldsymbol{P}^{(n)}$

上面两式简称为C-K方程。

4. 状态的分类与状态空间分解

若状态 $i\in S$ 满足 $p_{ii}=1$ ，则称其为吸收态。

对 $i,j\in S$ ，若存在 $n\in \mathbb{N}$ ，使 $p_{ij}^{(n)}>0$ ，则称自状态i出发可达状态j，记为 $i\rightarrow j$ .

如果 $i\rightarrow j$ 且 $j\rightarrow i$ ，则称i与j相通，记为 $i\leftrightarrow j$ 。

若一个马尔可夫链的任意两个状态都相通，则称该马尔可夫链为不可约链。

首达时间

$T_{ij}=\min\{n:n\geqslant1,X_n=j,X_0=i\}$

若右边为空集，则令 $T_{ij}=\infty$

首达概率

$\begin{aligned}f_{ij}^{(n)}&=&P\{T_{ij}=n|X_0=i\}\\&=&P\{X_n=j,X_k\neq j,1\leqslant k\leqslant n-1|X_0=i\}\end{aligned}$

$f_{ij}^{(n)}$ 表示从i出发经过n步首次到达j的概率。而 $f_{ij}=\sum_{n=1}^\infty f_{ij}^{(n)}$ 表示由i出发，经过有限步首次到达j的概率。

若 $f_{ii}=1$ ，称i为常返状态；若 $f_{ii}<1$ ，称i为非常返状态（瞬时状态）。

如果 $f_{ii}=1$ ，记 $\mu_i=\sum_{n=1}^\infty nf_{ii}^{(n)}$ ，则 $\mu_i$ 表示从i出发再回到i的平均回转时间。若 $\mu_i<\infty$ ，称i为正常返态；若 $\mu_i=\infty$ ，称i为零常返态。

如果集合 $\{n:n\geqslant1,p_{ii}^{(n)}>0\}\neq\emptyset$ ，称该数集的最大公约数d(i)为状态i的周期。若d(i)>1，称i为周期的，若d(i)=1，称i为非周期的。

若状态i为正常返态且是非周期的，则称i为遍历状态。

对 $\forall i,j\in S,n\geq 1$ ，有：

（1） $p_{ij}^{(n)}=\sum_{l=1}^nf_{ij}^{(l)}p_{jj}^{(n-l)}$

（2） $f_{ij}^{(n)}=\sum_{k\neq j}p_{ik}f_{kj}^{(n-1)}I_{(n>1)}+p_{ij}I_{(n=1)}$

（3）

$\begin{aligned}i&\to j\Longleftrightarrow f_{ij}>0\\\\i&\leftrightarrow j\Longleftrightarrow f_{ij}>0,f_{ji}>0\end{aligned}$

设 $C\subset S$ ，如果对任意 $i\in C$ 及 $j\notin C$ ，都有 $p_{ij}=0$ ，则称C为闭集。若C的状态相通，闭集C称为不可约的。

5. 平稳分布

一个定义在S上的概率分布 $\mathbf{\pi}=\{\pi_1,\pi_2,...,\pi_i,...\}$ 称为马尔可夫链的平稳分布，如有

$\mathbf{\pi=\pi P}$

即 $\forall j\in S$ ，有

$\pi_j=\sum_{i\in\mathcal{S}}\pi_ip_{ij}$

设 $\{X_n,n\geqslant 0\}$ 是马尔可夫链，则 $\{X_n,n\geqslant 0\}$ 为平稳过程的充要条件是 $\pi(0)=(\pi_i(0), i\in S)$ 是平稳分布，即

$\mathbf{\pi(0)=\pi(0) P(0)}$

不可约遍历链恒有唯一的平稳分布 $\{\pi_i=\frac1{\mu_i}\}$ ，且

$\pi_j=\lim_{n\to\infty}p_{ij}^{(n)}$

若 $\lim_{n\to\infty}\pi_j(n)=\pi_j^*(j\in S)$ 存在，则称 $\mathbf{\pi}^*=\{\pi_1^*,...,\pi_j^*,...\}$ 为马尔可夫链的极限分布。