HMM隐马尔科夫模型、MEMM最大熵马尔科夫模型和条件随机场的CRF 对比

本文深入解析贝叶斯网络、马尔科夫网络、HMM、MEMM及CRF等序列标注模型,对比它们的优缺点,阐述CRF如何解决MEMM的标注偏置问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

先来写写什么是贝叶斯网络(信念网络)和马尔科夫网络,这点至关重要

贝叶斯网络和马尔科夫网络

贝叶斯网络

对于有向图模型,这么求联合概率:
举个例子,对于下面的这个有向图的随机变量(注意,这个图我画的还是比较广义的):
应该这样表示他们的联合概率:在这里插入图片描述

马尔科夫网络

说白就是无向图
在这里插入图片描述
如果一个graph太大,可以用因子分解将 写为若干个联合概率的乘积。咋分解呢,将一个图分为若干个“小团”,注意每个团必须是“最大团”(就是里面任何两个点两两连通,就是最大连通子图),则有:
在这里插入图片描述
至于这个公式为什么是这个形式有一个Hammersly-Clifford law,李航老师书上有详细的证明。所以这个公式说明了两点:

  1. 无向图可以写成最大图势函数的乘积
  2. 势函数一般可以是指数的形式,后面CRF定义势函数就更有技巧了

HMM

HMM是有向图模型,是生成模型;HMM有两个假设:一阶马尔科夫假设(t时刻隐状态只依赖于t-1时刻隐状态)和观测独立性假设(t时刻观测只依赖于t时刻的隐状态);但对于序列标注问题不仅和单个词相关,而且和观察序列的长度,单词的上下文,等等相关。
HMM模型λ\lambdaλ=(状态转移概率矩阵A,观测状态转移概率矩阵B,初始状态矩阵π\piπ),同时假设观测数据O,状态序列数据为I,隐马尔科夫模型事实上是一个含有隐变量的概率模型P(O∣λ)=∑IP(O∣I,λ)P(I∣λ)\\P(O|\lambda)=\sum_{I}P(O|I,\lambda)P(I|\lambda)P(Oλ)=IP(OI,λ)P(Iλ)
以下是和这个模型相关的一些算法,其实这些算法都是广义的,在HMM、MEMM和CRF中都可以使用:

  1. 算概率的问题(编码算法): 给定模型λ\lambdaλ,如何估算P(O∣λ)P(O|\lambda)P(Oλ)。这里会用前向-后向算法,李航老师书上有详细的推导,说白了就是累加算递推
  2. 学习算法:给定一个输出字符的序列 O,如何调整模型的参数使得产生这一序列的概率最大?这里学习算法用EM算法(HMM的EM算法叫Baum-Welch算法)
  3. 求最大序列(编码算法):定一个输出字符的序列 O和模型λ\lambdaλ,如何求可能性最大的序列,这里用维特比Viterbi算法,实际上也是动态规划求状态t到状态t+1的概率。维特比算法其实可以用以下公式来表达,其中zj(t)z_j^{(t)}zj(t)表示第t层第j个节点,zi(t+1)z_i^{(t+1)}zi(t+1)表示第t+1层第i个节点,然后动态规划转移就可以,其中函数fjif_{ji}fji在不同模型中的表达式不一样,在HMM参考李航老师的书,在MEMM和CRF中有不同的表达形式
    zi(t+1)=max⁡j∈layertfji(zj(t)) z_i^{(t+1)}=\max_{j\in layer_t}f_{ji}(z_j^{(t)}) zi(t+1)=jlayertmaxfji(zj(t))

MEMM

MEMM(最大熵马尔科夫模型)是有向图模型,是判别模型;MEMM打破了HMM的观测独立性假设,MEMM考虑到相邻状态之间依赖关系,且考虑整个观察序列,因此MEMM的表达能力更强;但MEMM会带来标注偏置问题:由于局部归一化问题,MEMM倾向于选择拥有更少转移的状态。这就是标记偏置问题。最大熵马尔科夫模型建模如下P(x1...n∣y1...n)=∏i=1nP(xi∣xi−1,y1...n)P(x_{1...n}|y_{1...n})=\prod_{i=1}^{n}P(x_i|x_{i-1},y_{1...n})P(x1...ny1...n)=i=1nP(xixi1,y1...n)
其中P(xi∣xi−1,y1...n)P(x_i|x_{i-1},y_{1...n})P(xixi1,y1...n)会在局部进行线性叠加,即
P(xi∣xi−1,y1...n)=exp(F(xi−1,xi,y1...n))∑xiexp(F(xi−1,xi,y1...n))P(x_i|x_{i-1},y_{1...n})=\frac{exp(F(x_{i-1},x_i,y_{1...n}))}{\sum_{x_i}{exp(F(x_{i-1},x_i,y_{1...n}))}}P(xixi1,y1...n)=xiexp(F(xi1,xi,y1...n))exp(F(xi1,xi,y1...n))

其中F(xi−1,xi,y1...n)F(x_{i-1},x_i,y_{1...n})F(xi1,xi,y1...n)是这些特征的线性相加

接下来回答一下为啥P(xi∣xi−1,y1...n)P(x_i|x_{i-1},y_{1...n})P(xixi1,y1...n)长成这样,因为最大熵模型就是定义在条件熵基础上的,利用拉格朗日乘数法可以写成指数的形式,可以参考https://blog.youkuaiyun.com/taoqick/article/details/102672110, 详细推导参考李航老师的书,最终最大熵模型就是指数形式:
Pw(y∣x)=1Zw(x)exp[∑iwifi(x,y)] P_w(y|x)=\frac{1}{Z_w(x)}exp[{\sum_iw_if_i(x_,y)}] Pw(yx)=Zw(x)1exp[iwifi(x,y)]
其中,Zw(x)Z_w(x)Zw(x)叫做归一化因子,x是输入,y是输出,w是权重向量,fi(x,y)f_i(x,y)fi(x,y)是任意实特征函数,所以Zw(x)Z_w(x)Zw(x)的表达式是
Zw(x)=∑yexp[∑iwifi(x,y)] Z_w(x)=\sum_yexp[\sum_iw_if_i(x,y)] Zw(x)=yexp[iwifi(x,y)]
在这里插入图片描述
在这里插入图片描述

CRF(Conditional Random Field)

CRF模型解决了标注偏置问题,去除了HMM中两个不合理的假设,当然,模型相应得也变复杂了。P(x1...n∣y1...n)=∏i=1nP(xi,xi−1,y1...n)Z(y1...n)P(x_{1...n}|y_{1...n})=\frac{\prod_{i=1}^{n}P(x_i,x_{i-1},y_{1...n})}{Z(y_{1...n})}P(x1...ny1...n)=Z(y1...n)i=1nP(xi,xi1,y1...n),其中归一化因子Z(y1...n)Z(y_{1...n})Z(y1...n)会在全局范围内进行归一化,从而解决了局部归一化带来的标注偏置问题。
在这里插入图片描述
再来解释一下条件随机场P(x1...n∣y1...n)P(x_{1...n}|y_{1...n})P(x1...ny1...n)为啥长这个样子,这就涉及到刚开始的Hammersly-Clifford law,每次把xix_ixixi+1x_{i+1}xi+1以及y1..ny_{1..n}y1..n看成一个最大团,则在随机变量Y的取值为y的条件下,随机变量X取值为x的条件概率具有如下形式,分子的x’表示要枚举序列状态x’的全部情况
P(x∣y)=Score(x,y)∑x′Score(x′,y) P(x|y)=\frac{Score(x,y)}{\sum_{x'}Score(x',y)} P(xy)=xScore(x,y)Score(x,y)
写得更细致一点就是:
P(x∣y)=1Z(y)exp[∑i,kλktk(xi−1,xi,y,i)+∑i,lμlsl(xi,y,i)] P(x|y)=\frac{1}{Z(y)}exp[\sum_{i,k}\lambda_kt_k(x_{i-1},x_i,y,i)+\sum_{i,l}\mu_ls_l(x_i,y,i)] P(xy)=Z(y)1exp[i,kλktk(xi1,xi,y,i)+i,lμlsl(xi,y,i)]
其中规范化因子Z(y)是
Z(y)=∑xexp[∑i,kλktk(xi−1,xi,y,i)+∑i,lμlsl(xi,y,i)] Z(y)=\sum_xexp[\sum_{i,k}\lambda_kt_k(x_{i-1},x_i,y,i)+\sum_{i,l}\mu_ls_l(x_i,y,i)] Z(y)=xexp[i,kλktk(xi1,xi,y,i)+i,lμlsl(xi,y,i)]
其中tkt_ktk是转移特征,sls_lsl是状态特征,而Z(y)是全局化的归一因子,这和博客https://blog.youkuaiyun.com/taoqick/article/details/102855935 里的目标函数完全一致。所以LSTM+CRF里无非是把转移概率用LSTM给替换掉,其他是CRF的壳。。。
因此,MEMM和CRF的区别主要是两点:

  1. MEMM是有向图,CRF是无向图
  2. 在公式表达式,都是指数形式,但是在分母归一化的时候,MEMM是局部归一化,CRF是全局归一化,CRF解决了MEMM标记偏置的问题。

HMM、MEMM和CRF的优缺点比较:

a)与HMM比较。CRF没有HMM那样严格的独立性假设条件,因而可以容纳任意的上下文信息。特征设计灵活(与ME一样)

b)与MEMM比较。由于CRF计算全局最优输出节点的条件概率,它还克服了最大熵马尔可夫模型标记偏置(Label-bias)的缺点。

c)与ME比较。CRF是在给定需要标记的观察序列的条件下,计算整个标记序列的联合概率分布,而不是在给定当前状态条件下,定义下一个状态的状态分布.

更多细节参考数学之美有一章关于条件随机场的应用,李航老师的书

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值