NLP-初学条件随机场(CRF)

• 说明：学习笔记，内容参考《机器学习》《数学之美》和七月在线课件

条件随机场

定义1：

条件随机场（conditional random field，简称CRF）是一种判别式无向图模型。生成式模型是直接对联合分布进行建模，而判别式模型则是对条件分布进行建模，隐马尔可夫模型就是生成式模型。——周志华《机器学习》

定义2：

条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔可夫模型的基础上，提出的一种判别式概率无向图学习模型，是一种用于标注和切分有序数据的条件概率模型。

普遍意义上的条件随机场：

模型解释：
①条件随机场保留了隐含马尔可夫模型的一些特性，比如图中的$y_1,y_2,..$等状态的序列还是一个马尔可夫链。
②在图中，顶点$x_1,y_1$代表一个个随机变量，顶点之间的弧代表他们之间的依赖关系，采用概率分布$P(x_1,y_1)$来描述。
③它的特殊性在于变量之间要遵守马尔可夫假设，即每个状态的转移概率只取决于相邻的状态，这一点，它和贝叶斯网络相同。不同之处在于贝叶斯网络是有向图，而条件随机场是无向图，

1.生成式模型和判别式模型

o,s分别代表观测序列和标记序列

生成式模型

构建o和s的联合分布p(s,o)，可以根据联合概率来生成样本，如HMM，BNs，MRF。

缺点：目标分类问题中容易产生较大的错误率

优点：实际上带的信息比判别模型丰富；能更充分利用先验知识；模型可以通过增量学习得到

判别式模型

构建o和s的条件分布p(s|o)，因为没有s的知识无法生成样本，只能判断分类，如SVM，CRF，MEMM。

缺点：不能反映训练数据本身的特性

优点：分类边界更灵活；能清晰分辨出多类或某一类与其他类之间的差异特征；适用于较多类别的识别

二者关系

由生成模型可以得到判别模型，但由判别模型得不到生成模型。

---

2.词性标注

除了上一章介绍的HMM进行词性标注外，也可以使用条件随机场进行词性标注。正如分类器所做，首先需要设定一组特征方程。

①CRF的特征函数

每个特征函数的输入包括：

• 一个句子$s$
• 词在句子中的位置$i$
• 当前词的标签$l_i$
• 前一个词的标签$l_{i-1}$

---

②从特征到概率

• 为我们每个特征函数$f_i$设置一个权重值$\lambda_j$(通过训练学习得到这些权重值），给定一个句子s，可以通过累加句中所有词加权后的特征来为s的打标结果打分：
  

  $$score(l|s)=\sum_{j=1}^m\sum_{i=1}^n \lambda_jf_j(s,i,{l_i}',{l_{i-1}}')$$
  注:第一个求和是对遍历特征方程$j$的求和，第二个球和是对句子里面的每一个位置$i$进行遍历求和。

• 最终，通过求指数与归一的方式将得分转化为0,1之间的概率值：
  

  $$p(l|s)=\frac{exp[score(l|s)}{\sum_{l'} exp[score({l}'|s)]}=\frac{exp[\sum_{j=1}^m\sum_{i=1}^n\lambda_jf_j(s,i,l_i,l_{i-1})]}{\sum_{l'}exp[\sum_{j=1}^m\sum_{i=1}^n\lambda_jf_j(s,i,{l_i}',{l_{i-1}}')]}$$
  注：逻辑回归是分类问题的对数线性模型，CRF是序列标注问题的对数线性模型。

---

③权重学习

学习CRF权重，以梯度上升方法为例：

有一组训练样本（包括句子和相关的词性标注标签结果）；先为我们的CRF模型随机初始化权重值；为了使这些随机初始的权重最终调整为正确的值，需要遍历每个训练样本，然后执行：

• 遍历每个特征函数$f_i$，并为$\lambda_i$计算训练样本的对数概率梯度值：
  

  $$\frac{\partial}{\partial w_j}logp(l|s)=\sum_{j=1}^m f_i(s,j,l_j,l_{j-1})- \sum_{l'}p(l'|s)\sum_{j=1}^m f_i(s,j,{l_j}',{l_{j-1}}')$$

• 梯度公式中第一项是特征$f_i$在正确标注下的贡献，梯度公式中的第二项是特征$f_i$在当前模型中的贡献。

• 将$\lambda_i$朝着梯度方向移动：
  $$\lambda_i=\lambda_i+\alpha[\sum_{j=1}^m f_i(s,j,l_j,l_{j-1})- \sum_{l'}p(l'|s)\sum_{j=1}^m f_i(s,j,{l_j}',{l_{j-1}}')]$$
  $\alpha$是学习率。

重复上述步骤，直到达到某个停止条件，例如低于某一个阈值。
总而言之就是抽取当前模型与我们想要学习到的模型的差异，将$\lambda_i$朝着正确的方向移动。

---

④找到最佳标注
问题：假定训练好了CRF模型，这时来了一个新的句子，应该如何标注它？

• 最直接的方法：

为每个可能的标注$l$计算$p(l|s)$，接着选取一种概率值最大的打标。然而对一个大小为k的标签组和一个长度为m的句子，有$k^m$种可能的打标方式。

• 更好的方法：

使CRF满足最佳子结构的属性，使得我们可以使用一种动态规划算法（多项式时间复杂度）找到最佳标注，类似于HMM的维特比算法。

---

扩展

词性标注的方法还有许多，而CRF除了命名实体抽取的其他有趣应用：
eg.圣诞节礼物抽取
①简单匹配形如‘I want/got xxx for Christmas’的句式
②CRF变种GIFT词标注：将其转换为词性标注问题，基于类似“如果上一个词是一个GIFT-RECIVER且前一个词是gave，那么这个词就是一个GIFT”或者‘如果后面紧跟两个词是for Christmas，那么这个词就是GIFT’的规则去构造特征。