crf笔记

最新推荐文章于 2019-08-17 09:54:00 发布

原创最新推荐文章于 2019-08-17 09:54:00 发布 · 346 阅读

0 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

11 篇文章

订阅专栏

博客围绕CRF（条件随机场算法）展开，介绍其求解用到viterbi和逻辑回归知识点。详细阐述了基本公式，包含特征函数、转移特征函数、状态特征函数及对应权值等，还进行了化简，并给出简化版，最后提及参考书籍为《统计学习方法——李航》。

CRF(conditional random field algorithm)

求解用到的知识点是 viterbi+ lr( logistics regression)

1、基本公式

$p(y|x) = \tfrac{1}{Z(x)} exp\left ( \sum _{i,k} \lambda_{k}t_{k}(y_{i-1},y_{i},x,i)+ \sum _{i,l} \mu _{l}s_{l}(y_{i},x,i)\right )$

$Z(x) = \sum_{y} exp \left( \sum_{i,k} \lambda _{k}t_{k} (y_{i-1},y_{i},x,i) + \sum_{i,l}\mu_{l}s_{l}(y_{i},x,i) \right )$

$t_k$ 和 $s_l$ 是特征函数， $t_k$ 转移特征函数， $s_l$ 状态特征函数， $\lambda_k$ 和 $\mu_l$ 是对应的权值， $Z(x)$ 是规范因子，求和是在所有可能的输出序列上进行的。

2、化简

$\LARGE f_k(y_{i-1},y_i,x,y) =\bigl\{\begin{smallmatrix} t_k(y_{i-1},y_i,x,i), & k=1,2,\cdot \cdot \cdot , K_1 \\ s_l(y_i,x,i), & k=K_1 + l; l=1,2,\cdot \cdot \cdot , K_2 \end{smallmatrix}$

设有 $K_1$ 个转移特征， $K_2$ 个状态特征， $K = K_1+K_2$

$\large f_k(y,x) = \sum_{i=1}^n f_k(y_{i-1},y_i,x,i), k=1,2,\cdot \cdot \cdot,K$

3、简化版

$p(y|x) = \tfrac{1}{Z(x)} exp\left ( \sum_{k=1}^{K} w_{k}f_{k}(y,x) \right )$

$Z(x) = \sum_{y} exp \left( \sum_{k=1}^{K}w_{k}f_{k}(y,x) \right )$

参考：统计学习方法——李航

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ziyue246

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

『NLP学习笔记』NER任务的CRF-layer的原理

AI新视界

12-15

493

用命名实体识别任务来解释CRF，该文提出了一个使用词和字嵌入的 BiLSTM-CRF 命名实体识别模型。下将以本文中的模型为例来解释CRF层是如何工作的。

HMM ,MHMM,CRF 优缺点与区别

weixin_34129145的博客

02-15

3577

隐马尔科夫模型（HMM）：图1. 隐马尔科夫模型隐马尔科夫模型的缺点： 1、HMM只依赖于每一个状态和它对应的观察对象：序列标注问题不仅和单个词相关，而且和观察序列的长度，单词的上下文，等等相关。 2、目标函数和预测目标函数不匹配： HMM学...

参与评论您还未登录，请先登录后发表或查看评论

[英文缩写]英文聊天中btw,g2g,ttyl,brb是什么意思？

09-16

4663

在中文聊天中经常有一些比如“雷”、“囧”这类的文字，其实在英文中也有类似的缩写，比如btw,g2g,ttyl,brb等。它们代表什么意思呢？ btw（by the way）：这个大多数人都会用，就是“顺便再说一句”的意思。 g2g（got to go）：要走了。原句是I‘ve got to go。 ttyl（talk to you later）：下次再说。 brb（be right ba...

带你愉快的理解CRF

Just for fun的专栏

08-10

811

本文希望用尽可能简短的语言把CRF（条件随机场，Conditional Random Field）的原理讲清楚，这里In A Nutshell在英文中其实有“导论”、“科普”等意思（霍金写过一本《果壳中的宇宙》，这里东施效颦一下）。网上介绍CRF的文章，不管中文英文的，基本上都是先说一些概率图的概念，然后引入特征的指数公式，然后就说这是CRF。所谓“概率图”，只是一个形象理解的说法，然而如...

[英文缩写]英文聊天中rofl,nth,idk,imho是什么意思？

09-16

4138

英文信件和聊天中有些缩写让我们本来就生活在中文语境中的“汉”鸭子不知所措，查字典是查不到的了，比如omg,jk,lol,Imao是什么意思？比如btw,g2g,ttyl,brb缩写又是什么意思？还有就是下面要说的rofl,nth,idk,imho是什么意思？ rofl（rolling on the floor laughing）：笑到摔到地上。 roflmao（rolling on ...

CRF笔记代码

03-15

**CRF笔记代码** CRF（Conditional Random Field，条件随机场）是一种概率图模型，广泛应用于序列标注任务，如自然语言处理中的词性标注、命名实体识别等。它与传统的HMM（隐马尔科夫模型）相比，能更好地处理上...

HMM, Viterbi, CRF笔记

Tardigrade_的博客

06-28

428

Viterbi Algorithm 维特比算法维护两个矩阵 V[step][state] # 通过比较V[s]中的值，可以找到每一个以s为终点的观测为obs的最佳state path[state] of len(step) # step=s时观测为obs的最佳路径。注意：路径中间点不一定对应最佳V值例如： 2-steps: V[2][H] = 0.8 V[2][F] = 0.6 path...

CRF机器学习笔记配套代码解读

### CRF笔记代码 **知识点概述：** CRF（Conditional Random Field，条件随机场）是一种常用于序列数据建模的统计建模方法，特别是在自然语言处理中广泛用于词性标注、命名实体识别等任务。CRF模型能够考虑上下文...

PytorchBert-LSTM-CRF命名实体识别源码+笔记+视频讲解PytorchBert-LSTM-CRF命名实体识别

最新发布

10-04

PytorchBert-LSTM-CRF命名实体识别是一个深度学习模型，它利用了BERT（Bidirectional Encoder Representations from Transformers）预训练模型的语义编码能力，以及LSTM（Long Short-Term Memory）对序列数据的处理...

crf与bitrate对照表

maopig的专栏

08-12

5155

crf与bitrate对照表 (2011-06-21 17:45:59) 一些关于crf的备忘： 1、相较于bitrate方式，cpu占用与内存占用均会下降； 2、锐化滤镜会让crf的码率上升； 3、vbv对crf依然有效； 4、crf18就接近无损，字幕组惯

cqp VS bitrate VS crf [学习笔记]

Chris_Magic的学习笔记

12-13

3898

首先说明，这三个选项cqp ,bitrate ,crf 互斥，只能设置一个，如果你在设置中同时设置了这三个选项，最后会覆盖掉之前的。 1.bitrate 参数解释： --bitrate Set bitrate (kbit/s) 以目标位元率来编码视讯。目标位元率模式意味着最终文件的大小是已知的，但最终的品质则位置。此设定通常与 2-pass 编码一起使

FCN & CRF 论文笔记

raquelle的记忆宫殿

11-03

2399

原文链接：https://www.jianshu.com/p/434b3e22a47e 本篇文章涉及4篇论文分别是 Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials Conditional Random Fields as Recurrent Neural Networks SEMANTIC ...

mediacoder固定质量CRF

weixin_30886233的博客

08-17

782

视频编码：crf 与 bitrate 对照表　　CRF（constant rate factor）就是x264/x265下压制视频的一种恒定量化值的编码方式，码率不恒定。其实就相当于vbr1pass。采用CRF的话，那么在一个视频中，大动态场景会被分配更多的码率，以使画面更好。一般CRF值我们都设置在18-26之间，18就接近无损了，个人最常用的是22或者23，当然前提是要看片源，如...

一个程序员的爱情自白

瞎掰大数据-- 世界的本质是数据，胡侃瞎掰，专注微软大数据解决方案

06-09

1287

我能抽象出整个世界．．．但是我不能抽象出你．．．因为你在我心中是那么的具体．．．所以我的世界并不完整．．．我可以重载甚至覆盖这个世界里的任何一种方法．．．但是我却不能重载对你的思念．．．也许命中注定了你在我的世界里永远的烙上了静态的属性．．．而我不慎调用了爱你这个方法．．．当我义无返顾的把自己作为参数传进这个方法时．．．我才发现爱上你是一个死循环．．．它不停的返回对你的思念压

HMM+CRF笔记

AI_盲的博客

08-24

1976

HMM+CRF笔记 CRF就像一个反向的隐马尔可夫模型(HMM)，两者都是用了马尔科夫链作为隐含变量的概率转移模型，只不过HMM使用隐含变量生成可观测状态，其生成概率有标注集统计得到，是一个生成模型；而CRF反过来通过可观测状态判别隐含变量，其概率亦通过标注集统计得来，是一个判别模型。由于两者模型主干相同，其能够应用的领域往往是重叠的，但在命名实体、句法分析等领域CRF更胜一筹。 CRF和HM

外国人网上聊天的时候喜欢用的简写下面我再给你列一些

weixin_30856725的博客

05-25

1036

no problem外国人网上聊天的时候喜欢用的简写下面我再给你列一些 u = you r = are thx = thanks y = why de = the @ = at msg = message luv = love ur = your, you're 2 = to, too, two 4 = for, four 2day = t...