条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下,另一组输出随机变量的条件概率分布模型,这里仅讨论它在标注问题的应用,因此主要讲述线性链(linear chain)条件随机场。
一、概率无向图模型
在介绍条件随机场之前,需要了解概率无向图模型。概率无向图模型(probabilistic undirected graphical model),又称为马尔科夫随机场(Markov random field),它由结点(node)及连接结点的边(edge)组成,表示一个联合概率分布。
概率无向图需要满足以下三种条件:成对马尔科夫性(pairwise Markov property)、局部马尔科夫性(local Markov property)和全局马尔科夫性(global Markov property)。
成对马尔科夫性:设uuu和vvv是无向图GGG中任意两个不直接相连的结点,其他所有结点为OOO,它们对应的随机变量或随机变量组为Yu,Yv,YOY_u,Y_v,Y_OYu,Yv,YO,成对马尔科夫性是指给定YOY_OYO的条件下,YuY_uYu与YvY_vYv是条件独立的,即
P(Yu,Yv∣YO)=P(Yu∣YO)P(Yv∣YO)P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O)P(Yu,Yv∣YO)=P(Yu∣YO)P(Yv∣YO) 局部马尔科夫性:设vvv是无向图GGG中任意一个节点,WWW是所有与vvv直接相连的结点,其他所有结点为OOO,局部马尔科夫性是指给定YWY_WYW的条件下,YvY_vYv与YOY_OYO是条件独立的,即
P(Yv,YO∣YW)=P(Yv∣YW)P(YO∣YW)P(Y_v,Y_O|Y_W)=P(Y_v|Y_W)P(Y_O|Y_W)P(Yv,YO∣YW)=P(Yv∣YW)P(YO∣YW) 全局马尔科夫性:设结点集合A,BA,BA,B是在无向图GGG中被结点集合CCC分开的任意结点集合,全局马尔科夫性是指在给定YCY_CYC的条件下,YAY_AYA与YBY_BYB是条件独立的,即
P(YA,YB∣YC)=P(YA∣YC)P(YB∣YC)P(Y_A,Y_B|Y_C)=P(Y_A|Y_C)P(Y_B|Y_C)P(YA,YB∣YC)=P(YA∣YC)P(YB∣YC) 如果联合概率分布P(Y)P(Y)P(Y)满足成对、局部、全局马尔科夫性,就称此联合概率分布为概率无向图模型,或马尔科夫随机场。
接着,为了引出概率无向图的Hammersley-Clifford定理,先介绍团与最大团的概念。无向图GGG中任何两个结点均有边连接的结点子集称为团(clique),若不能再加进任何一个结点使其成为一个更大的团,则称此团为最大团(maximal clique)。
概率无向图模型的因子分解(factorization),可以将联合概率分布P(Y)P(Y)P(Y)写作图中所有最大团CCC上的函数ψC(YC)\psi_C(Y_C)ψC(YC)的乘积形式,即
P(Y)=1Z∏CψC(YC)P(Y)=\frac{1}{Z}\prod_C\psi_C(Y_C)P(Y)=Z1C∏ψC(YC) 其中,ZZZ是规范化因子,有
Z=∑Y∏CψC(YC)Z=\sum_Y\prod_C\psi_C(Y_C)Z=Y∑C∏ψC(YC) 这便是概率无向图的Hammersley-Clifford定理,函数ψC(YC)\psi_C(Y_C)ψC(YC)称为势函数(potential function),由于要求ψC(YC)\psi_C(Y_C)ψC(YC)是严格正的,通常定义为指数函数
ψC(YC)=e−E(YC)\psi_C(Y_C)=e^{-E(Y_C)}ψC(YC)=e−E(YC)
二、条件随机场的定义与形式
首先定义条件随机场,设XXX与YYY是随机变量,若随机变量YYY构成一个马尔科夫随机场,即
P(Yv∣X,Yw,w̸=v)=P(Yv∣X,Yw,w∼v)P(Y_v|X,Y_w,w\not= v)=P(Y_v|X,Y_w,w\sim v)P(Yv∣X,Yw,w̸=v)=P(Yv∣X,Yw,w∼v)对任意结点vvv成立,则称条件概率分布P(Y∣X)P(Y|X)P(Y∣X)为条件随机场,式中w∼vw\sim vw∼v表示与vvv有边相连的所有结点www,w̸=vw\not= vw̸=v表示结点vvv以外的所有结点。
当X,YX,YX,Y均为线性链表示的随机变量序列,如果P(Y∣X)P(Y|X)P(Y∣X)构成条件随机场,即满足马尔科夫性
P(Yi∣X,Y1,⋯ ,Yi−1,Yi+1,⋯ ,Yn)=P(Yi∣X,Yi−1,Yi+1)P(Y_i|X,Y_1,\cdots,Y_{i-1},Y_{i+1},\cdots,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})P(Yi∣X,Y1,⋯,Yi−1,Yi+1,⋯,Yn)=P(Yi∣X,Yi−1,Yi+1) 则称P(Y∣X)P(Y|X)P(Y∣X)为线性链条件随机场。
注意,上面是“YYY构成马尔科夫随机场”→\to→“P(Y∣X)P(Y|X)P(Y∣X)为条件随机场”→\to→“P(Y∣X)P(Y|X)P(Y∣X)是线性链条件随机场”。
根据上一节的Hammersley-Clifford定理,概率无向图的联合概率分布可以分解为最大团上势函数的乘积,对应到线性链条件随机场P(Y∣X)P(Y|X)P(Y∣X)中,其最大团均为两个结点的集合,它有两种,一种是相邻的两个yyy,一种是对应的xxx与yyy。因此线性链条件随机场P(Y∣X)P(Y|X)P(Y∣X)在XXX取值为xxx的条件下,YYY取值为yyy的条件概率可写为
P(y∣x)=1Z(x)e∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i)P(y|x)=\frac{1}{Z(x)}e^{\sum_{i,k}\lambda_kt_k(y_{i-1},y_i,x,i)+\sum_{i,l}\mu_ls_l(y_i,x,i)}P(y∣x)=Z(x)1e∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i) 其中Z(x)Z(x)Z(x)是规范化因子,即
Z(x)=∑ye∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i)Z(x)=\sum_ye^{\sum_{i,k}\lambda_kt_k(y_{i-1},y_i,x,i)+\sum_{i,l}\mu_ls_l(y_i,x,i)}Z(x)=y∑e∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i) 式中,tkt_ktk和sls_lsl是特征函数,λk\lambda_kλk和μl\mu_lμl是对应的权值。其中tkt_ktk是定义在边上的特征函数,称为转移特征;sls_lsl是定义在结点上的特征函数,称为状态特征。通常tkt_ktk与sls_lsl的取值为1或0,满足特征条件时取1,否则取0。
由于势函数的形式,线性链条件随机场跟逻辑回归等一样也是对数线性模型(log linear model)。
为了表述方便,考虑将两种特征放在一起表示。设有K1K_1K1个转移特征,K2K_2K2个状态特征,总特征数为K=K1+K2K=K_1+K_2K=K1+K2,用fk(yi−1,yi,x,i)f_k(y_{i-1},y_i,x,i)fk(yi−1,yi,x,i)来表述tk(yi−1,yi,x,i)t_k(y_{i-1},y_i,x,i)tk(yi−1,yi,x,i)与sl(yi,x,i)s_l(y_i,x,i)sl(yi,x,i),则其在各个位置iii的求和记作
fk(y,x)=∑i=1nfk(yi−1,yi,x,i), k=1,2,⋯ ,Kf_k(y,x)=\sum_{i=1}^nf_k(y_{i-1},y_i,x,i), k=1,2,\cdots,Kfk(y,x)=i=1∑nfk(yi−1,yi,x,i), k=1,2,⋯,K 再用wkw_kwk来表述权值λk\lambda_kλk与μl\mu_lμl,将特征与权值均用向量表示,即
F(y,x)=(f1(y,x),f2(y,x),⋯ ,fK(y,x))TF(y,x)=(f_1(y,x),f_2(y,x),\cdots,f_K(y,x))^TF(y,x)=(f1(y,x),f2(y,x),⋯,fK(y,x))Tw=(w1,w2,⋯ ,wK)Tw=(w_1,w_2,\cdots,w_K)^Tw=(w1,w2,⋯,wK)T 这样条件随机场可以写成向量www与F(x,y)F(x,y)F(x,y)的内积形式
Pw(y∣x)=ew⋅F(y,x)Zw(x)P_w(y|x)=\frac{e^{w\cdot F(y,x)}}{Z_w(x)}Pw(y∣x)=Zw(x)ew⋅F(y,x) 其中
Zw(x)=∑yew⋅F(y,x)Z_w(x)=\sum_ye^{w\cdot F(y,x)}Zw(x)=y∑ew⋅F(y,x) 除了用向量内积表示,条件随机场还可以用矩阵形式表示。首先对每一个位置i=1,2,⋯ ,n+1i=1,2,\cdots,n+1i=1,2,⋯,n+1,定义一个mmm阶矩阵
Mi(x)=[Mi(yi−1,yi∣x)]M_i(x)=[M_i(y_{i-1},y_i|x)]Mi(x)=[Mi(yi−1,yi∣x)]Mi(yi−1,yi∣x)=e∑k=1Kwkfk(yi−1,yi,x,i)M_i(y_{i-1},y_i|x)=e^{\sum_{k=1}^Kw_kf_k(y_{i-1},y_i,x,i)}Mi(yi−1,yi∣x)=e∑k=1Kwkfk(yi−1,yi,x,i) 式中mmm是yiy_iyi的可取个数,这样条件概率可表示为
Pw(y∣x)=1Zw(x)∏i=1n+1Mi(yi−1,yi∣x)P_w(y|x)=\frac{1}{Z_w(x)}\prod_{i=1}^{n+1}M_i(y_{i-1},y_i|x)Pw(y∣x)=Zw(x)1i=1∏n+1Mi(yi−1,yi∣x)Zw(x)=(M1(x)M2(x)⋯Mn+1(x))start,stopZ_w(x)=(M_1(x)M_2(x)\cdots M_{n+1}(x))_{start,stop}Zw(x)=(M1(x)M2(x)⋯Mn+1(x))start,stop y0=starty_0=starty0=start与yn+1=stopy_{n+1}=stopyn+1=stop表示开始状态与终止状态。
三、条件随机场的概率计算问题
跟上一篇博客中的隐马尔可夫模型相同,条件随机场的概率计算问题是给定输入序列xxx和输出序列yyy,计算条件概率P(Yi=yi∣x),P(Yi−1=yi−1,Yi=yi∣x)P(Y_i=y_i|x),P(Y_{i-1}=y_{i-1},Y_i=y_i|x)P(Yi=yi∣x),P(Yi−1=yi−1,Yi=yi∣x)及其相应的数学期望。同样,可以引进前向-后向向量进行递归计算,这样的算法称为前向-后向算法。
首先对初始i=0i=0i=0,定义前向向量α0(x)\alpha_0(x)α0(x)
α0(y∣x)={1,y=start0,否则\alpha_0(y|x)=\left\{\begin{array}{rcl}1,&y=start\\0,&否则 \end{array}\right.α0(y∣x)={1,0,y=start否则 接着对i=1,2,⋯ ,n+1i=1,2,\cdots,n+1i=1,2,⋯,n+1递推,递推公式为
αiT(yi∣x)=αi−1T(yi−1∣x)[Mi(yi−1,yi∣x)], i=1,2,⋯ ,n+1\alpha_i^T(y_i|x)=\alpha_{i-1}^T(y_{i-1}|x)[M_i(y_{i-1},y_i|x)], i=1,2,\cdots,n+1αiT(yi∣x)=αi−1T(yi−1∣x)[Mi(yi−1,yi∣x)], i=1,2,⋯,n+1 式中,αi(yi∣x)\alpha_i(y_i|x)αi(yi∣x)表示在位置iii的标记是yiy_iyi且到位置iii的前部分标记序列的非规范化概率,yiy_iyi可取值为mmm个,所以αi(yi∣x)\alpha_i(y_i|x)αi(yi∣x)是mmm维向量。上式又可以表示为
αiT(x)=αi−1T(x)Mi(x)\alpha_i^T(x)=\alpha_{i-1}^T(x)M_i(x)αiT(x)=αi−1T(x)Mi(x) 再来看后向向量,先对i=n+1i=n+1i=n+1定义后向向量βn+1(x)\beta_{n+1}(x)βn+1(x)
βn+1(yn+1∣x)={1,yn+1=stop0,否则\beta_{n+1}(y_{n+1}|x)=\left\{\begin{array}{rcl}1,&y_{n+1}=stop\\0,&否则\end{array}\right.βn+1(yn+1∣x)={1,0,yn+1=stop否则 接着对i=0,1,⋯ ,ni=0,1,\cdots,ni=0,1,⋯,n递推,递推公式为
βi(yi∣x)=[Mi+1(yi,yi+1∣x)]βi+1(yi+1∣x)\beta_i(y_i|x)=[M_{i+1}(y_i,y_{i+1}|x)]\beta_{i+1}(y_{i+1}|x)βi(yi∣x)=[Mi+1(yi,yi+1∣x)]βi+1(yi+1∣x) 式中,βi(yi∣x)\beta_i(y_i|x)βi(yi∣x)表示在位置iii的标记为yiy_iyi且从i+1i+1i+1到nnn的后部分标记序列的非规范化概率。同样的,上式也可以表示为
βi(x)=Mi+1(x)βi+1(x)\beta_i(x)=M_{i+1}(x)\beta_{i+1}(x)βi(x)=Mi+1(x)βi+1(x) 由前向-后向向量定义不难得到
Z(x)=αnT(x)⋅1=1T⋅β1(x)Z(x)=\alpha_n^T(x)\cdot 1=1^T\cdot \beta_1(x)Z(x)=αnT(x)⋅1=1T⋅β1(x) 式中,111是元素均为1的mmm维列向量。
接着,根据前向-后向向量的定义,可得
P(Yi=yi∣x)=αiT(yi∣x)βi(yi∣x)Z(x)P(Y_i=y_i|x)=\frac{\alpha_i^T(y_i|x)\beta_i(y_i|x)}{Z(x)}P(Yi=yi∣x)=Z(x)αiT(yi∣x)βi(yi∣x)P(Yi−1=yi−1,Yi=yi∣x)=αi−1T(yi−1∣x)Mi(yi−1,yi∣x)βi(yi∣x)Z(x)P(Y_{i-1}=y_{i-1},Y_i=y_i|x)=\frac{\alpha_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x)\beta_i(y_i|x)}{Z(x)}P(Yi−1=yi−1,Yi=yi∣x)=Z(x)αi−1T(yi−1∣x)Mi(yi−1,yi∣x)βi(yi∣x)
四、条件随机场的学习算法
条件随机场的学习问题是估计条件随机场模型参数的问题,学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进迭代尺度法IIS、梯度下降法、拟牛顿法,这里暂时不详细介绍了。
五、条件随机场的预测算法
条件随机场的预测问题,指的是给定条件随机场P(Y∣X)P(Y|X)P(Y∣X)和输入序列xxx,求条件概率最大的输出序列y∗y^*y∗,这里可以类比为隐马尔科夫模型,条件随机场P(Y∣X)P(Y|X)P(Y∣X)对应模型参数λ\lambdaλ,输入序列xxx对应观测序列OOO,最有可能的输出序列y∗y^*y∗对应最有可能的状态序列I∗I^*I∗。
对于预测问题,最有可能的输出序列y∗y^*y∗为
y∗=argmaxyPw(y∣x)y^*=\arg\max_yP_w(y|x)y∗=argymaxPw(y∣x) 根据第二节所述,条件随机场可以写成向量www与F(x,y)F(x,y)F(x,y)的内积形式,代入上式中得
y∗=argmaxyew⋅F(y,x)Zw(x)=argmaxy[w⋅F(y,x)]y^*=\arg\max_y\frac{e^{w\cdot F(y,x)}}{Z_w(x)}=\arg\max_y[w\cdot F(y,x)]y∗=argymaxZw(x)ew⋅F(y,x)=argymax[w⋅F(y,x)] 需要明确的是,www与F(y,x)F(y,x)F(y,x)均是KKK维向量,即
w=(w1,w2,⋯ ,wK)Tw=(w_1,w_2,\cdots,w_K)^Tw=(w1,w2,⋯,wK)TF(y,x)=(f1(y,x),f2(y,x),⋯ ,fK(y,x))TF(y,x)=(f_1(y,x),f_2(y,x),\cdots,f_K(y,x))^TF(y,x)=(f1(y,x),f2(y,x),⋯,fK(y,x))Tfk(y,x)=∑i=1nfk(yi−1,yi,x,i), k=1,2,⋯ ,Kf_k(y,x)=\sum_{i=1}^nf_k(y_{i-1},y_i,x,i), k=1,2,\cdots,Kfk(y,x)=i=1∑nfk(yi−1,yi,x,i), k=1,2,⋯,K 从上面三个式子可以看出,累加在内内积在外,如果我们把它变成累加在外内积在内,y∗y^*y∗的求解就可以用递推完成,这便是维特比算法。
根据上面三个式子,有
w⋅F(y,x)=w1∑i=1nf1(yi−1,yi,x,i)+w2∑i=1nf2(yi−1,yi,x,i)+⋯+wK∑i=1nfK(yi−1,yi,x,i)w\cdot F(y,x)=w_1\sum_{i=1}^nf_1(y_{i-1},y_i,x,i)+w_2\sum_{i=1}^nf_2(y_{i-1},y_i,x,i)+\cdots+w_K\sum_{i=1}^nf_K(y_{i-1},y_i,x,i)w⋅F(y,x)=w1i=1∑nf1(yi−1,yi,x,i)+w2i=1∑nf2(yi−1,yi,x,i)+⋯+wKi=1∑nfK(yi−1,yi,x,i) 即
w⋅F(y,x)=∑i=1n[w1f1(yi−1,yi,x,i)+w2f2(yi−1,yi,x,i)+⋯+wKfK(yi−1,yi,x,i)]w\cdot F(y,x)=\sum_{i=1}^n[w_1f_1(y_{i-1},y_i,x,i)+w_2f_2(y_{i-1},y_i,x,i)+\cdots+w_Kf_K(y_{i-1},y_i,x,i)]w⋅F(y,x)=i=1∑n[w1f1(yi−1,yi,x,i)+w2f2(yi−1,yi,x,i)+⋯+wKfK(yi−1,yi,x,i)] 如果我们令
Fi(yi−1,yi,x)=(f1(yi−1,yi,x,i),f2(yi−1,yi,x,i),⋯ ,fK(yi−1,yi,x,i))TF_i(y_{i-1},y_i,x)=(f_1(y_{i-1},y_i,x,i),f_2(y_{i-1},y_i,x,i),\cdots,f_K(y_{i-1},y_i,x,i))^TFi(yi−1,yi,x)=(f1(yi−1,yi,x,i),f2(yi−1,yi,x,i),⋯,fK(yi−1,yi,x,i))T 上式便可写为
w⋅F(y,x)=∑i=1nw⋅Fi(yi−1,yi,x)w\cdot F(y,x)=\sum_{i=1}^nw\cdot F_i(y_{i-1},y_i,x)w⋅F(y,x)=i=1∑nw⋅Fi(yi−1,yi,x) 这样,就可以从i=1i=1i=1递推到i=ni=ni=n,求得最优路径y∗=(y1∗,y2∗,⋯ ,yn∗)Ty^*=(y_1^*,y_2^*,\cdots,y_n^*)^Ty∗=(y1∗,y2∗,⋯,yn∗)T。
具体过程是是,首先求出i=1i=1i=1的各个标记j=1,2,⋯ ,mj=1,2,\cdots,mj=1,2,⋯,m的非规范化概率
δ1(j)=w⋅F1(y0=start,y1=j,x), j=1,2,⋯ ,m\delta_1(j)=w\cdot F_1(y_0=start,y_1=j,x), j=1,2,\cdots,mδ1(j)=w⋅F1(y0=start,y1=j,x), j=1,2,⋯,m 接着递推
δi(l)=max1≤j≤m{δi−1(j)+w⋅Fi(yi−1=j,yi=l,x)}, l=1,2,⋯ ,m\delta_i(l)=\max_{1\le j\le m}\{\delta_{i-1}(j)+w\cdot F_i(y_{i-1}=j,y_i=l,x)\}, l=1,2,\cdots,mδi(l)=1≤j≤mmax{δi−1(j)+w⋅Fi(yi−1=j,yi=l,x)}, l=1,2,⋯,mψi(l)=argmax1≤j≤m{δi−1(j)+w⋅Fi(yi−1=j,yi=l,x)}, l=1,2,⋯ ,m\psi_i(l)=\arg\max_{1\le j\le m}\{\delta_{i-1}(j)+w\cdot F_i(y_{i-1}=j,y_i=l,x)\}, l=1,2,\cdots,mψi(l)=arg1≤j≤mmax{δi−1(j)+w⋅Fi(yi−1=j,yi=l,x)}, l=1,2,⋯,m 递推至i=ni=ni=n后,可得最优路径的终点
yn∗=argmax1≤j≤mδn(j)y_n^*=\arg\max_{1\le j\le m}\delta_n(j)yn∗=arg1≤j≤mmaxδn(j) 由此终点返回
yi∗=ψi+1(yi+1∗) i=n−1,n−2,⋯ ,1y_i^*=\psi_{i+1}(y_{i+1}^*) i=n-1,n-2,\cdots,1yi∗=ψi+1(yi+1∗) i=n−1,n−2,⋯,1 最终求得最优路径y∗=(y1∗,y2∗,⋯ ,yn∗)Ty^*=(y_1^*,y_2^*,\cdots,y_n^*)^Ty∗=(y1∗,y2∗,⋯,yn∗)T。