统计学习方法第十一章——条件随机场_参考图11.6的状态路径图,假设随机矩阵 m 1 ( x ) , m 2 ( x ) , m 3 (-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_43869610/article/details/124502604

本文详细介绍了概率无向图模型（PGM）中的贝叶斯网络和马尔科夫网络，重点解析了条件随机场（CRF）的定义、矩阵形式及其预测算法。通过实例展示了CRF在序列标注问题中的应用，探讨了不同矩阵元素的含义以及规范化因子的计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

11.1 概率无向图模型

11.1.1 模型定义

式子(11.3)推导补充
$\begin{aligned} P(Y_v,Y_O|Y_W)&=P(Y_v|Y_W,Y_O)P(Y_O|Y_W)\\ &=P(Y_v|Y_W)P(Y_O|Y_W) \end{aligned}$
两边同时消去 $P(Y_O|Y_W)$ ,因此得到式子(11.3)

11.2 条件随机场的定义与形式

【例题】11.1

11.2.4 条件随机场的矩阵形式

这里主要记录一下矩阵的表示形式，另外两种是比较好理解的

对观测序列x的每一个位置 $i=1,2,\cdots,n+1$ ，定义一个m阶矩阵(m是标记y的取值个数， $y_{i-1}和y_i$ 位置上均有m种取值)，举例来说，当m=3时，除了i=1和i=n+1时，每个矩阵 $M_i(x)\in R^{3\times3}$ ,如下图所示：

由上图知道第一个矩阵和最后一个矩阵不是 $m\times m$ 的，然后参考统计学习书上的例子将其其余部分用0填充变成 $m\times m$ 并且最后一个矩阵的元素应该为1，因为 $y_{n+1}$ 只有一个状态stop。

【例题】11.2

矩阵 $M_1(x),M_2(x),M_3(x)中的a,b,c$ 可以理解为上一章隐马尔可夫模型当中的状态转移矩阵中的值，例如 $a_{01}$ 理解为前一个状态为0，转移到状态为1的概率为 $a_{01}$ ，b,c同样理解，于是就可以理解 $M_1(x),M_2(x),M_3(x),M_4(x)$ 为什么那样写了，至于为什么 $M_4(x)中第一列的值为1$ 也很好理解，因为最后一个状态只能是stop，所以概率就为1了。

状态序列长度为3，每个状态有2种，所以总共有 $2^3$ 种路径，解释一下下图的意思

例如 $a_{01}b_{11}c_{11}$ ，首先start=0，所以开头都是从0开始， $a_{01}b_{11}c_{11}$ 表示的是第一个状态为1，第二个状态为1，第三个状态为1的概率。其他的类似解释，8条路径就把所有可能的路径例举完了。8个式子相加就是所有路径的非规范化概率之和，即规范因子 $Z_w(x)$ ， $M_1(x)M_2(x)M_3(x)M_4(x)$ 相乘的非零元素也会等于 $Z_w(x)$ ，可以自己验证下。