马尔科夫模型的一些理解

数学上的定义即使看明白,我也无法记忆下来,目前我的理解是: 已知系统t时刻状态P(t), 状态间转移的概率矩阵是M(P,Q),其中每个元素M(p,q)表示t时刻处于状态q,t+1时刻处于状态p的概率. 那么有
$P(t+1) = M \times P(t)$当上式中的 $t \rightarrow +\infty$ 时,引入个稳态分布的概念,即

$$P(t) = P(t+1) = M \times P(t)$$
即
$$M \times P(t) = 1 \times P(t)$$
这是矩阵特征值-特征向量的公式,矩阵M有一个特征值1,对应的特征向量是P(t)
那么马尔科夫模型的平稳状态是一定存在的吗? 如果存在,平稳状态是唯一的吗?
* 存在性
如果转移矩阵M是行变换矩阵,这个模型不会稳定到一个状态,而是在几个状态直接反复变换,则不存在平稳状态.
如果M不是行变换矩阵,是否一定存在平稳状态?
* 唯一性
如果一个马尔科夫模型存在两个不同的平稳状态P和Q,那么有
$$M \times P = P$$
$$M \times Q = Q$$
即M存在特征值1,其对应两个不同的特征向量P和Q, 合理吗?

由于稳态分布的存在,状态转移矩阵就有一些有趣的性质了:
* M中的元素大于等于0
因为M中的元素都是概率值
* M中一列的元素之和等于1
M的列表示当前状态, 行表示下一时刻的状态, 则一行的含义是,当前处于状态x,下一时刻处于所有状态的概率和,显然是1
* M的特征值不大于1
如此N步转移矩阵, 当$N \rightarrow \infty$时,特征值只有1和0, M的那些小于1的特征值逐渐变为0 如何证明??

马尔科夫模型应用实例

具体应用中一般分三个步骤
1. 定义状态P
2. 计算状态转移矩阵M
3. 计算稳态,给出稳态的解释

计算稳态的方法有两种
* 利用矩阵分解,计算M的特征值和特征向量, 特征值1对应的特征向量就是稳态
* M比较大时,计算特征向量比较消耗资源. 根据稳态的基础定义,从任一初始状态P开始,反复和M相乘,直至连续两次结果的差异足够小,此时的结果
就是稳态

利用马尔科夫模型预测球队胜率

1. 当前状态P
   定义三个状态: 失败,胜利和平局
   利用本赛季的数据, 获得该球队胜利,失败和平局的概率,作为初始状态
2. 计算M
   利用历史赛季的数据,统计球队前一场处于状态p,下一场处于状态q的概率, 其中
   $p \in {失败,胜利,平局}$
   $q \in {失败,胜利,平局}$
3. 计算稳态
   M是一个3x3的矩阵,直接矩阵分解,计算特征值为1的特征向量

计算显著

有一篇saliency方面的文献:”Graph-Based Visual Saliency”,其大致分为三个步骤
1. 和itti的方法很相似,利用各种特征获得若干特征图
2. 把特征图一一转换成activation map
3. 融合不同的activation map融合成一个,即saliency map

在步骤2中使用了马尔科夫模型生成activation map,思路如下
* 构造节点
一个像素就是一个节点, nxn的特征图,就有$n^2$个节点, 节点在特征图中的值作为其初始值
* 构造边
定义两个像素的差异为两个像素特征图中值的差的绝对值,并用距离加权, 这个结果作为两个像素之间边的权重.
有节点,有边就形成一个图
* 构造马尔科夫模型
有一个图,图中每个节点和余下$n^2-1$个节点都有边相连,对每个节点输出边做归一化,使其和为1,满足状态转移矩阵M的属性要求, 如此每一个节点累计来自其他节点的输入,然后按照比例输出到其他节点.
* 计算稳态
转移矩阵是$n^2 \times n^2$的, 一般难以用矩阵分解计算,而且其是否可分解还未知.所以使用不断乘以转移矩阵的方式,获得平稳态,这个平稳态对应就是activation map

---

如论文中所述,这种方式是对马尔科夫模型的一种”等价”,毕竟从一个像素转移到另一个像素,这完全没有物理意义.一个可能的解释是:投票. 每个节点接受其他节点的投票,然后按照自己的输出边权重向其他节点投票(指向自身的边的权重为零,即节点不会向自己投票. 另外投票不是转移,即节点本身的票数,并不会应为对其他节点投票的行为而减少). 这种对马尔科夫模型的近似还有其他用途,比如N个球队进行比赛, 截至到目 前,每一对队伍在当前赛季中的胜率可以看作当前状态, 队伍两两之间的胜率看作转移矩阵,可以从历史
赛季中获取,利用等价的马尔科夫模型可以计算赛季结束时,每个队伍的胜率,即预测本赛季的总冠军归属

---