背景
CRF和HMM是有相似性的,最后都是使用Verterbi算法来进行最优状态转移序列的确定。CRF主要用于序列标注问题。 本质:通过1D卷机学习近邻信息,然后输入到CRF定义好的计算方式中。 一些实现的库,并不能主观反应出CRF的计算方式,因此可以通过具体原理实现细节仔细观察。
随机场有多种,一些已有的随机场如:马尔可夫随机场(MRF), 吉布斯随机场 (GRF), 条件随机场 (CRF), 和高斯随机场。
随机场
定义一:简单来说,随机场可以看作是一组对应于同一样本空间的随机变量的集合。一般来说,这些随机变量之间存在依赖关系,也只有当它们之间存在依赖关系的时候,我们才会将其单独拿出来看成一个随机场才有实际意义。
定义二:随机场是由若干个位置组成的整体,当给每一个位置中按照某种分布随机赋予一个值之后,其全体就叫做随机场。
CRF原理理解
下图表示我们的序列连接与预测。
CRF是进行了假设,一共两个假设,如下:
x\bf{x}x
P(y1,⋯ ,yn∣x)P(y_1, \cdots,y_n|x)P(y1,⋯,yn∣x)
在上述表示中h(y1;x)h(y_1;\bm{x})h(y1;x)的相邻位置为g(y1,y2;x)g(y_1,y_2;\bm{x})g(y1,y2;x)。
尽管已经做了大量简化,但一般来说,(3) 式所表示的概率模型还是过于复杂,难以求解。于是考虑到当前深度学习模型中,RNN 或者层叠 CNN 等模型已经能够比较充分捕捉各个 y 与输出 x 的联系(主要是学习序列信息),因此,我们不妨考虑函数 g 跟 x 无关,那么:
引入时间序列模型(RNN做卷积),x\bm{x}x与yyy之间的关系直接用yyy与yyy去考虑。 这时候 ggg 实际上就是一个有限的、待训练的参数矩阵而已,而单标签的打分函数 h(yi;x)。h(y_i;\bm{x})。h(yi;x)。 我们可以通过 RNN 或者 CNN 来建模。因此,该模型是可以建立的,其中概率分布变为:
算法步骤
重点:相比于HMM,要进行模型训练。HMM直接打标签了,这里对每个句子中的词通过0,1,2,3,4打了标签。
具体步骤
卷积层:通过一维卷积得到邻域信息。
CRF层:训练概率转移矩阵4×44\times44×4(B,M,E,S), 概率矩阵被初始化得到。之后通过与ground true的lable相乘计算得到。
预测层:计算概率转移矩阵4×44\times44×4(B,M,E,S),总共16个值,这一步在代码分析中,是通过网路计算出来的, 在CRF自定义的网络层。
结果层:模型训练完成之后再通过verterbi算法找最优解。
代码理解
分子的计算
def path_score(self, inputs, labels):
"""计算目标路径的相对概率(还没有归一化)
要点:逐标签得分,加上转移概率得分。
技巧:用“预测”点乘“目标”的方法抽取出目标路径的得分。
"""
#下面这一步计算的可能是h(y_1, x)等
point_score = K.sum(K.sum(inputs * labels, 2), 1, keepdims=True) # 逐标签得分
labels1 = K.expand_dims(labels[:, :-1], 3)
labels2 = K.expand_dims(labels[:, 1:], 2)
labels = labels1 * labels2 # 两个错位labels,负责从转移矩阵中抽取目标转移得分
trans = K.expand_dims(K.expand_dims(self.trans, 0), 0)
trans_score = K.sum(K.sum(trans * labels, [2, 3]), 1, keepdims=True)
return point_score + trans_score # 两部分得分之和
这里计算的主要是公式一下部分,
后边部分的k是包含在求和符号里面的,上半部分为下半部分中的大括号里里面的。h(⋅)h(\cdot)h(⋅)表示是前面的网络层。
分母的计算
类似于RNN, LSTM, GRU,需要通过前一个节点推下一个节点,因此产生了时间序列
outputs = K.logsumexp(states + trans, 1)
这个包含了,公式的右半部分的两个元素的对应乘积。
这里注意一下,这两个指数的相乘在代码中, ZZZ利用rnn的递归特性进行求解。
batch_size为128, crf的inputs输入是一个样本个数,乘以状态个数的矩阵。
def log_norm_step(self, inputs, states):
"""递归计算归一化因子
要点:1、递归计算;2、用logsumexp避免溢出。
技巧:通过expand_dims来对齐张量。
inputs is predictive label, input is h
init_states (128, 4)
"""
#states[0] is (128,4)
inputs, mask = inputs[:, :-1], inputs[:, -1:]
#上边语句执行后 inputs shape is [128,4], mask shape is [128,1] 相当于每一个每一个句子中的第一个词
states = K.expand_dims(states[0], 2) # (batch_size, output_dim, 1) (128, 4, 1)
#print("states shape:", states.shape)
trans = K.expand_dims(self.trans, 0) # (1, output_dim, output_dim) (1, 4, 4)
# states+trans shape is (128,4,4), first exp, then sum, last to get log, 下面这一步表示了图转移
outputs = K.logsumexp(states + trans, 1) # (batch_size, output_dim)
#outputs is [128,4]
outputs = outputs + inputs
#outputs is [128,4], states[:,:,0] is [128,4]
outputs = mask * outputs + (1 - mask) * states[:, :, 0]
print("states[:,:,0].shape",states[:,:,0].shape)
return outputs, [outputs]
内容链接
https://www.cnblogs.com/gczr/p/10021249.html
https://www.jiqizhixin.com/articles/2018-05-23-3 (CRF实现附带链接)
https://blog.youkuaiyun.com/dianwei0041/article/details/101882673?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control(为什么要用CRF)
https://zhuanlan.zhihu.com/p/29989121
https://tech.meituan.com/2020/07/23/ner-in-meituan-nlp.html(美团NER探索实践)
https://wenku.baidu.com/view/d7cb1e7952d380eb63946d09.html(说明了条件随机场)