CRF简单理解总结

条件随机场(CRF)是一种判别式模型,用于从可选标注序列中选择最合理的序列,如在序列标注任务中避免不合理的标签组合。CRF相比HMM和MEMM,解决了输出独立性和标注偏置问题,通过Viterbi算法找到最高概率序列。在BiLSTM+CRF模型中,CRF层学习约束信息,确保预测序列的合理性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

条件随机场(Conditional Random Fields, 以下简称CRF):是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔科夫随机场。条件随机场是一种判别式模型

CRF的作用:简单理解就是从可选的标注序列中,选择最靠谱的一个序列。比如一句话中有3个单词,可选的词性为【名词,动词】。当我们对这三个字标记为l1:(名词,动词,动词)显然不太靠谱,因为在一个句子中动词后面接动词是说不通的。而标记为l2(名词,动词,名词)是靠谱的。

下面通过BiLSTM+CRF的列子说明一下CRF的具体应用场景。

上图中采用BIO形式的序列标注。当没有CRF层的时,预测出来的序列结果是无序的,而CRF的作用可以从训练数据中学习一些约束信息。通过特征函数得到各个序列的转移概率,使用Viterbi算法计算分数最高的序列标签。比如:

1.句子中第一个词总是以标签“B-“ 或 “O”开始,而不是“I-”

2.标签“B-label1 I-label2 I-label3 I-…”,label1, label2, label3应该属于同一类实体

CRF、MEMM、HMM比较:

 

  • HMM -> MEMM: HMM模型中存在两个假设:一是输出观察值之间严格独立,二是状态的转移过程中当前状态只与前一状态有关。但实际上序列标注问题不仅和单个词相关,而且和观察序列的长度,单词的上下文,等等相关。MEMM解决了HMM输出独立性假设的问题。因为HMM只限定在了观测与状态之间的依赖,而MEMM引入自定义特征函数,不仅可以表达观测之间的依赖,还可表示当前观测与前后多个状态之间的复杂
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值