马尔科夫链--维基百科

最新推荐文章于 2025-02-27 13:08:11 发布

白交_Robin

最新推荐文章于 2025-02-27 13:08:11 发布

阅读量4.8k

点赞数

分类专栏：学习笔记文章标签：数学预测概率

学习笔记专栏收录该内容

30 篇文章

订阅专栏

马尔可夫链，因俄罗斯数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，只有当前的状态用来预测将来，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的。

在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态,也可以保持当前状态。状态的改变叫做过渡，与不同的状态改变相关的概率叫做过渡概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的(无论之前漫步路径是如何的)。

历史[编辑]

马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。

定义[编辑]

马尔可夫链是随机变量 $X_1, X_2, X_3...$ 的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而 $X_n$ 的值则是在时间 $n$ 的状态。如果 $X_{n+1}$ 对于过去状态的条件概率分布仅是 $X_n$ 的一个函数，则

$P(X_{n+1}=x|X_0, X_1, X_2, \ldots, X_n) = P(X_{n+1}=x|X_n). \,$

这里 $x$ 为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。

性质[编辑]

可还原性[编辑]

马尔可夫链是由一个条件分布来表示的

$P(X_{n+1}| X_n)\,$

这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：

$P(X_{n+2}|X_n) = \int P(X_{n+2},X_{n+1}|X_n)\,dX_{n+1} = \int P(X_{n+2}|X_{n+1}) \, P(X_{n+1}|X_n) \, dX_{n+1}$

同样，

$P(X_{n+3}|X_n) = \int P(X_{n+3}|X_{n+2}) \int P(X_{n+2}|X_{n+1}) \, P(X_{n+1}|X_n) \, dX_{n+1} \, dX_{n+2}$

这些式子可以通过乘以转移概率并求 $k-1$ 次积分来一般化到任意的将来时间 $n+k$ 。

周期性[编辑]

边际分布 $P(X_n)$ 是在时间为 $n$ 时的状态的分布。初始分布为 $P(X_0)$ 。该过程的变化可以用以下的一个时间步幅来描述：

$P(X_{n+1}) = \int P(X_{n+1}|X_n)\,P(X_n)\,dX_n$

这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布 $\pi$ 满足

$\pi(X) = \int P(X|Y)\,\pi(Y)\,dY$

其中 $Y$ 只是为了便于对变量积分的一个名义。这样的分布 $\pi$ 被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征值为 $1$ 的条件分布函数的特征方程。

平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。

重现性[编辑]

各态历遍性[编辑]

具有重现性而不具有周期性叫做遍历的。重现性包括局部重现性。

律动性[编辑]

平稳状态分析和极限分布[编辑]

可反转马尔可夫链[编辑]

可反转马尔可夫链类似于应用贝叶斯定理来反转一个条件概率:

$\begin{align}\Pr(X_{n}=i\mid X_{n+1}=j) & = \frac{\Pr(X_n = i, X_{n+1} = j)}{\Pr(X_{n+1} = j)} \\& = \frac{\Pr(X_{n} = i)\Pr(X_{n+1} = j\mid X_n=i)}{\Pr(X_{n+1} = j)}.\end{align}$

以上就是反转的马尔可夫链。因而，如果存在一个π，使得:

$\pi_i p_{ij} = \pi_j p_{ji}.\,$

那么这个马尔可夫链就是可反转的。

这个条件也被称为细致平衡 (detailed balance)条件。

对于所有的i求和:

$\sum_i \pi_i p_{ij} = \pi_j\,$

所以，对于可反转马尔可夫链，π总是一个平稳分布。

有限状态空间中的马尔可夫链[编辑]

如果状态空间是有限的，则转移概率分布可以表示为一个具有 $(i,j)$ 元素的矩阵，称之为“转移矩阵”：

$P_{ij} = P(X_{n+1}=j\mid X_n=i) \,$

对于一个离散状态空间， $k$ 步转移概率的积分即为求和，可以对转移矩阵求 $k$ 次幂来求得。就是说，如果 $\mathbf{P}$ 是一步转移矩阵， $\mathbf{P}^k$ 就是 $k$ 步转移后的转移矩阵。

平稳分布是一个满足以下方程的向量

$\pi^*\mathbf{P} = \pi^*$ .

在此情况下，稳态分布 $\pi^*$ 是一个对应于特征根为 $1$ 的、该转移矩阵的特征向量。

如果转移矩阵 $\mathbf{P}$ 不可约，并且是非周期的，则 $\mathbf{P}^k$ 收敛到一个每一列都是不同的平稳分布 $\pi^*$ ，并且，

$\lim_{k\rightarrow\infty}\mathbf{P}^k=\pi^*$ ,

独立于初始分布 $\pi$ 。这是由Perron-Frobenius theorem所指出的。

正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。

注意：在上面的定式化中，元素 $(i,j)$ 是由j转移到i的概率。有时候一个由元素 $(i,j)$ 给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵（每列的和为1）的右特征向量给出的，而不是左特征向量。

转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为伯努利过程

科学应用[编辑]

统计[编辑]

马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码（著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。

生物[编辑]

马尔可夫链也有众多的生物学应用，特别是增殖过程，可以帮助模拟生物增殖过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。

地理[编辑]

马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。

因特网应用[编辑]

谷歌（Google）所使用的网页排序算法（PageRank）就是由马尔可夫链定义的。马尔可夫模型也被应用于分析用户浏览网页的行为。一阶或者二阶的马尔可夫模型可以用于对一个用户从某一网络链接转移到另一链接的行为进行建模，然后这些模型可以用于对用户之后的浏览行为进行预测。

马尔可夫模仿文本生成器[编辑]

马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。

参看[编辑]

参考文献[编辑]

A.A. Markov. "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 2-ya seriya, tom 15, pp 135-156, 1906.
A.A. Markov. "Extension of the limit theorems of probability theory to a sum of variables connected in a chain". reprinted in Appendix B of: R. Howard. Dynamic Probabilistic Systems, volume 1: Markov Chains. John Wiley and Sons, 1971.
Leo Breiman. Probability. Original edition published by Addison-Wesley, 1968; reprinted by Society for Industrial and Applied Mathematics, 1992. ISBN 0-89871-296-3.(See Chapter 7.)
J.L. Doob. Stochastic Processes. New York: John Wiley and Sons, 1953. ISBN 0-471-52369-0.