CRF(条件随机场)与Viterbi(维特比)算法原理详解

 

NLP中常见任务的开源解决方案、数据集、工具、学习资料

CRF（Conditional Random Field），即条件随机场。经常被用于序列标注，其中包括词性标注，分词，命名实体识别等领域。

Viterbi算法，即维特比算法。是一种动态规划算法用于最可能产生观测时间序列的-维特比路径-隐含状态序列，特别是在马尔可夫信息源上下文、隐马尔科夫模型、条件随机场中

一、CRF基本概念

我们以命名实体识别NER为例，先介绍下NER的概念：

 

这里的label_alphabet中的b代表一个实体的开始，即begin；m代表一个实体的中部，即mid；e代表一个实体的结尾，即end；o代表不是实体，即None；<start>和<pad>分表代表这个标注label序列的开始和结束，类似于机器翻译的<SOS>和<EOS>。

 

这个就是word和label数字化后变成word_index，label_index。最终就变成下面的形式：

 

因为label有7种，每一个字被预测的label就有7种可能，为了数字化这些可能，我们从word_index到label_index设置一种分数，叫做发射分数emit：

 

看这个图，有word_index 的 1 -> 到label_index 的 4的小红箭头，像不像发射过来的？此时的分数就记作emit[1][4]。

另外，我们想想，如果单单就这个发射分数来评价，太过于单一了，因为这个是一个序列，比如前面的label为o，那此时的label被预测的肯定不能是m或s，所以这个时候就需要一个分数代表前一个label到此时label的分数，我们叫这个为转移分数，即T：