条件随机场(CRF) - 4 - 学习方法和预测算法(维特比算法)

CRF(条件随机场)与Viterbi(维特比)算法原理详解 摘自:https://mp.weixin.qq.com/s/GXbFxlExDtjtQe-OPwfokA https://www.cnblogs.com/zhibei/p/9391014.html CRF(Conditional Random Field),即条件随机场。经常被用于序列标注,其中包括词性标注,分词,命名实体识别等领域。 Viterbi算法,即维特比算法。... 阅读详情

声明:

     1,本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结,不得用作商用,欢迎转载,但请注明出处(即:本帖地址)。

     2,由于本人在学习初始时有很多数学知识都已忘记,所以为了弄懂其中的内容查阅了很多资料,所以里面应该会有引用其他帖子的小部分内容,如果原作者看到可以私信我,我会将您的帖子的地址付到下面。

     3,如果有内容错误或不准确欢迎大家指正。

     4,如果能帮到你,那真是太好了。

学习方法
条件随机场模型实际上是定义在时序数据上的对数线性模型,其学习方法包括极大似然估计和正则化的极大似然估计。

     具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。

改进的迭代尺度法(IIS)
已知训练数据集,由此可知经验概率分布

     可以通过极大化训练数据的对数似然函数来求模型参数。

     训练数据的对数似然函数为

              

     当Pw是一个由

              

     给出的条件随机场模型时,对数似然函数为

              

     IIS通过迭代的方法不断优化对数似然函数改变量的下界,达到极大化对数似然函数的目的。

     假设模型的当前参数向量为w=(w1,w2, ..., wK)T,向量的增量为δ=(δ1,δ2, ..., δK)T,更新参数向量为w +δ=(w1+δ1, w2 +δ2, ..., wk +δk)T。在每步迭代过程中,IIS通过一次求解下面的11.36和11.37,得到δ=(δ1,δ2, ..., δK)T。

     关于转移特征tk的更新方程为:

              

     关于状态特征sl的更新方程为:

              

     这里T(x, y)是在数据(x, y)中出现所有特征数的综合:

              

     于是算法整理如下。

算法:条件随机场模型学习的改进的迭代尺度法

     输入:特征函数t1,t2, ..., tK1,s1, s2, ..., sK2;经验分布

     输出:参数估计值 ;模型。

     过程:

拟牛顿法
对于条件随机场模型

     学习的优化目标函数是

              

     其梯度函数是

              

     拟牛顿法的BFGS算法如下:

算法:条件随机场模型学习的BFGS算法

预测算法
条件随机场的预测问题是给定义条件随机场P(Y|X)和输入序列(观测序列)x,求条件概率最大的输出序列(标记序列)y*,即对观测序列进行标注。

     条件随机场的预测算法是著名的维特比算法。

     在介绍维特比算法之前,我先用通俗的语言描述下它。

     假设我们遇到了这么个问题:

               大学时你让室友帮你带饭(如果你上过大学,别告诉我你别干过这事....),然后你室友问你想吃啥?你回答:“你吃啥我吃啥,不过回来时帮忙带瓶雪碧,谢啦”。于是有趣的事就发生了:你室友给你带回了饭和雪碧并兴高采烈的说:“我去,食堂换大厨了,那个小卖部的收银员换成了个漂亮妹子!!”然后你问他:“你去的哪个食堂和小卖部?”,他想了想回答:“你猜。”

               好了,你猜吧~

               我猜你妹啊(╯‵□′)╯︵┻━┻

     嘛,先别慌掀桌,不管如何你室友帮你带了饭,所以咱们就满足下他那小小的恶作剧,就当做是给他跑腿的辛苦费好了。

     PS:假设你学校有2个小卖部和2个食堂。

     于是,mission start!

     首先,问他:你先去得小卖部?他回答:是的。

     OK,买东西的先后顺序搞定了。

     那就开始想:

               第一步:从宿舍到小卖部A和B的距离都差不多,不好判断;

               第二步:从小卖部A、B到食堂1、2有四种路线(A1, A2,B1, B2),然后这四种路线中到食堂1最短的是B1,到食堂2最短的是A2;

               第三步:看看他给带来的饭,嗯....这个饭我记得食堂1有卖,食堂2不知道,就当没有吧,那就假设他去的是食堂1;

               第四步:既然他去的是食堂1,按照这货的习惯,绝壁选个最近的小卖部,所以他会选择距离食堂1最近的小卖部B;

               第五步:对他说:“你先去小卖部B然后去食堂1对吧”,他说:“我次奥,你咋知道的”。

    

     好了,例子举完了,我们来看看维特比算法,其实维特比算法就是上面的过程:先从前向后推出一步步路径的最大可能(从出发点到第一个目的地集合的每个可能性,从第一个目的地集合到第二个目的地集合的每个可能性,以此类推),然后在确定终点之后在反过来选择前面的路径(确定终点是食堂1了,那因为室友选择到食堂1的路线B1的可能性大于路线A1,所以按照路线,终点的上一个目的地集合里,室友就选择的小卖部B,以此类推),最终确定最优路径。



     现在,你对维特比算法是什么就有概念了吧,下面来看看其数学描述。



     在上面的例子中你会发现:“每个路径可能性”的确定是十分重要的。既然如此,我们就得看看条件随机场的“每个路径可能性”,即:条件随机场的局部特征向量。

     由

              

     可得:

              

     于是,条件随机场的预测问题成为求非规范化概率最大的最优路径问题

              

     这里,路径表示标记序列,其中

              

     注意,这时只需计算非规范化概率,而不必计算概论,可以大大提高效率。

     为了求解最优路径,将11.52式写成如下形式:

              

     其中

              

     就是局部特征向量。

    

     下面叙述维特比算法。

     PS:关于Viterbi算法,个人推荐看我的第二次总结:http://blog.youkuaiyun.com/xueyingxue001/article/details/52396494 。个人感觉会比下面更清晰,而且下面的例子中有一处和书中的计算结果不一致,这可能会影响你对Viterbi算法的理解。

     首先求出位置1的各个标记j=1,2,...,m的非规范化概率:

              

              PS:m指的位置1的数量,比如上面的例子中位置1只有2个(小卖部1和小卖部2),那m就为2。下面同理。

     一般的,有递推公式,求出到位置i的各个标记l=1,2,...,m的非规范化概率的最大值,同时记录非规范化概率最大值的路径:

              

     直到i=n时终止。这时求得非规范化概率的最大值为:

              

     最优路径的终点

              

     由此最优路径终点返回

              

     求得最优路径

               y*= (y1*, y2*, ..., yn*)T。

     综上所述,得到条件随机场预测的维特比算法。

算法:条件随机场预测的维特比算法

     下面通过一个例子来说明维特比算法。

例子
对于之前用过的例11.1(如下图),用维特比算法求给定的输入序列(观测序列)x对应的输出序列(标记序列)y* = (y1*, y2*, y3*);

     解:

               下面是步骤截图,在后面我会有讲解

              

     解释:

               首先,例11.1实际上就是在叙述下图:



     第一步初始化:

               因为y1=1和y1=2是最初,所以就不用考虑转移的情况了(实际上也没有“表达从y0转移到y1的情况”的t函数(转移函数)),直接从状态函数(s函数中找),发现,s1和s2分别对应y1=1和y1=2,说明y1=1和y1=2这个状态都是存在的,而s1和s2的权值分别是1和0.5,且上面列出的s函数们和t函数们值都为1,所以y1=1和y2=1的可能性分别是1和0.5。

               所以,到达y1的非规范化概率最大值为:δ1(1) = 1,δ1(2) = 0.5。

     第二步递推:

               i=2(达第二处目的地集合{y2=1, y2=2}):

               首先是路线(仅说明到达y2=1的情况):

                        上图可知,到达y2=1的路线有如下几条:

                                 路线1:从y1=1出发 ----(经过t2)---->到达y2=1;

                                 路线2:从y1=2出发 ----(经过t4)---->到达y2=1;

               接着是状态(仅说明到达y2=1的情况):

                        根据题目可知:i=2时的状态函数只有s2和s3,而y2=1对应的函数是s3

               所以到达y2=1的非规范化概率最大值为:

                        δ2(1) = max{1+λ2t2 + u3s3,0.5 + λ4t4 + u3s3}= 2.4 (注:这里手算一遍之后发现是2.3)

                        PS1:这里相对于原题我多加了个u3s3,因为用上面这种思路可以解释通其他所有的δi,如果这种想法有问题,还请告知,不胜感激。

                        PS2:如果按照书上的结果再加上u3s3的话,这里应该是2.4,但手算一遍之后发现是2.3,如果的确是2.4的话,还请告知,不胜感激。

                        PS3:因为PS2,所以建议先不要管δ2(1) 是2.3还是2.4,就按照当成是2.4,这样之后的内容才会和书中同步,才不会影响你理解Viterbi算法。

               非规范化概率最大值的路径为:

                        ψ2(1) = 1

               δ2(2)同理。

               i=3也一样(只不过对于δ3(1)中的u5s5,我认为应该是u3s3,先不说s3对应的是y3=1的情况,而且原题中根本没有s5函数)。

     第三部终止:

               这步就简单了,在δ3(l)中δ3(1) = 4.3最大,所以y3中取1的可能性最大,即y3*=1。

     第四步返回:

               然后反着推:

                        从y2的哪个值到y3可能性最大呢?在第二部已经解出:ψ3(1) = 2,即y2到达y3=1的路线中权值最大的是y2=2,即y2*=2。

                        同理,从y1=1到y2=2的可能性最大,即y1*=1。

     最后就得到标记序列

               y*= (y1*, y2*, y3*)= (1, 2, 1)
从HMM到CRF到LSTM+CRF   在实习的时候有用到LSTM+CRF,但以前对HMM、CRF算法了解的不多,导致自己在理论方面有所欠缺。因此特此写一篇从HMM到CRF再到LSTM+CRF中的非纯理论性质的文章,算是一个阶段性笔记和总结。   本文的侧重点还是以LSTM+CRF为主,对于LSTM+CRF中依赖到的HMM、CRF中的概念会做详细说明,主要包含几个部分: 马尔科夫模型 隐马尔科夫模... 阅读详情

相关推荐

【CRF系列】第6篇:CRF的预测:维特比(Viterbi)解码详解

在CRF中,预测问题可以形式化为:给定观测序列Xx1x2xnXx1​x2​...xn​和模型参数θ\thetaθ,找到使条件概率PY∣X;θP(Y|X;θ最大的标签序列Y∗y1∗y2∗yn∗Y∗y1∗​y2∗​...yn∗​。θY∗。

熵数实验室 1070

维特比算法的通俗案例解释

维特比算法本质上就是一个动态规划DP算法,在知乎上看到了关于一个解释维特比算法的解释https://www.zhihu.com/question/20136144, 因此在此特意在转载下,并加入一些个人对于结合实际案例场景下的算法理解说明: 1.题目背景: 从前有个村儿,村里的人的身体情况只有两种可能:健康或者发烧。 假设这个村儿的人没有体温计或者百度这种神奇东西,他唯一判断他身体情

8303

条件随机场(CRF)

目录 1.定义 1.1 图 1.2 概率图模型(PGM) (1)有向图的联合概率: (2)概率无向图模型: 1.3 马尔可夫性 1.4 团与最大团 1.5 概率无向图模型的联合概率分布 1.6 条件随机场 1.7 线性链条件随机场 2.条件随机场的不同形式 2.1 条件随机场的参数化形式 2.2 条件随机场的简化形式 2.3 条件随机场的矩阵形式 3.概率计算问题 3.1 前向-后向算法 3.2 概率计算 3.3 期望值计算 4.学习算法(参数估计) 5.预测算法(.

惊鸿一博 9738

BiLSTM-CRF学习笔记(原理和理解)

BiLSTM-CRF学习笔记(原理和理解) BiLSTM-CRF 被提出用于NER或者词性标注,效果比单纯的CRF或者lstm或者bilstm效果都要好。 根据pytorch官方指南(https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html#bi-lstm-conditional-random-field-discussi...

weixin_30363981的博客 1410

如何用简单易懂的例子解释条件随机场(CRF)模型.pdf

如何用简单易懂的例子解释条件随机场(CRF)模型 一篇很好的说明(一个网上的问答)

条件随机场详细讲解

条件随机场详细讲解,及相关的隐马尔科夫模型,最大熵模型,贝叶斯模型

【机器学习】【条件随机场CRF-2】CRF的预测算法之维特比算法(viterbi alg) 详解 + 示例讲解 + Python实现

20180512晚上完成此博客。

蔚蓝的天空Tom 6837

APB Timer验证环境搭建——学习笔记(6)

(1)为RELOAD VALUE配置初始值32'h8000_0000,设定边界值32'h4000_0000,可以看到减到想要的边界值的时候,counter重新加载RELOAD VALUE,重新开始计数;这根线,统计等待到中断的次数,与理论值做。(2)设定Reload value。(1)由于counter。recount总共次数;

qq_41651535的博客 497

第十一章条件随机场.11.2 拟牛顿法

文章目录牛顿法拟牛顿法 本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。 公式输入请参考:在线Latex公式 牛顿法 对于一个无约束最优化问题min⁡x∈Rnf(x)\underset{x\in \R^n}{\min}f(x)x∈Rnmin​f(x) 假设f(x)f(x)f(x)具有二阶连续偏导数,通过迭代方法寻找最优点xxx,即x(1)→x(2)→⋯→x(k)→x(k+1)→⋯x^{(1)}\rightarrow x^{(2)}\rightarrow\cdots \right

老毛的博客 350

Spring AI RAG 生产级实战:从 0 构建企业智能知识库系统

Spring AI🎯统一的 API 抽象:屏蔽不同 AI 服务商的差异🎯开箱即用的集成:支持主流大模型和向量数据库🎯Spring 生态融合:与 Spring Boot、Spring Data 无缝集成🎯企业级特性:事务管理、监控、安全等RAG 架构:检索 + 增强 + 生成,解决 LLM 局限性Spring AI:统一的 API 抽象,简化 AI 应用开发向量数据库:pgvector 适合中小规模,Milvus 适合大规模文档处理:加载 → 分块 → 向量化 → 存储检索优化。

一起修行,不孤单。这里有编程语言、开发工具、学习方法论和踩坑笔记。用简单的话说复杂的事,陪你从小白到进阶。周更干货,欢迎一起成长! 410

人形机器人系列——硬件介绍

人形机器人是多领域交叉技术的产物,主要由三大系统组成:感知系统、决策系统和执行系统。感知系统感知系统是人形机器人获取外界信息的途径,主要由各种传感器组成。其中,视觉传感器用于获取图像信息,如摄像头、激光雷达等;触觉传感器用于感知触碰和压力,如力/力矩传感器、声学传感器等。这些传感器收集到的信息为机器人的决策和执行提供基础。决策系统决策系统是人形机器人的大脑,负责处理和决策各种信息。它由芯片和算法组成。芯片是硬件基础,提供计算能力;算法是软件基础,用于处理和分析传感器收集到的信息,并做出相应的决策。执行系统。

liangwqi的博客 1万+

条件随机场的预测算法

本文介绍了条件随机场(CRF)的预测算法,特别是维特比算法(Viterbi algorithm)。主要内容包括:预测问题定义:给定条件随机场模型和输入序列(观测序列),求条件概率最大的输出序列(标记序列)。非规范化概率:通过计算非规范化概率来简化计算,提高效率。维特比算法步骤:初始化:计算初始位置的非规范化概率。递推:通过递推公式计算每个位置的非规范化概率,并记录路径。终止:找到非规范化概率的最大值。返回路径:从终点开始,回溯路径,得到最优路径。算法示例:通过一个具体的例子展示了如何使用维特比算法求解最优路

彬彬侠的博客 1123

写出GD32L233/235在读写flash的区别(用于OTA功能)

在单片机里面表示 大概是 address += sizeof(uint32_t) address += sizeof(uint64_t)1.说到OTA功能,实际上 往flash 指定区域写 数据, 拷贝数据,然后 跳转, 必要时 注意单片机的偏移量。在写本文时,L233支持单字写入,而L235只有双字写入. 一个写入地址+4 一个写入地址+8。这个是 自己写的擦除一页 数据,当然可以参考 提供的demo去实现,看自己需求。接下来是 读取 双字,也就是在L235上的读取。

teleger的博客 909

经典算法复现!(条件随机场)CRF原理及实现代码

Datawhale作者:丁媛媛,Datawhale优秀学习者寄语:本文先对马尔可夫过程及隐马尔可夫算法进行了简单的介绍;然后,对条件随机场的定义及其三种形式进行了详细推导;最后,介绍...

fengdu78的博客 7859

R语言单因素被试内ANOVA检验

在R语言中,我们可以使用多种方法进行被试内ANOVA检验,其中包括使用内建函数或使用外部包。我们随机选择了10个被试,并对每个被试使用了三种不同的药物处理。通过上述代码示例,我们可以使用R语言进行单因素被试内ANOVA检验。假设我们的数据存储在一个名为"data"的数据框中,其中包含两个列:一个列是被试的编号,另一个列是生物指标的测量值。在上述代码中,我们创建了一个名为"data"的数据框,其中"Subject"列包含了被试的编号,"Measurement"列包含了生物指标的测量值。参数指定了数据来源。

PixelNovaO的博客 364

uniapp [全端兼容] - 实现集成配置百度语音识别转文字,长按或开启录音并将录音文件实时转换为文字,百度智能云API实现上传录音文件并转换成文字案例(苹果安卓App、微信小程序、移动端H5网页)

uniapp对接百度智能云语音识别,uniapp中实现语音识别(app+小程序),百度语音识别录音转文字_百度智能云,uniapp使用百度语音识别语音转文字,uniapp小程序调用百度语音识别,uni-app 百度语音识别文字并展示功能,uniapp配置自定义界面百度语音识别转文字和原生使用方式,uniapp使用百度语音,uni-app语音转文字功能,使用UniApp技术实现录音并将录音转换为文字,uniapp如何实现语音输入功能功能,Uniapp集成百度智能云API实现录音转文字详细教程完整示例代码dem

🏆 前端领域优质创作者 1万+

条件随机场CRF - 学习和预测

CRF的学习即CRF的参数估计问题。条件随机场模型实际上是定义在时序数据上的对数线性模型(LR模型同样是),其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。改进的迭代尺度法(IIS) 已知训练数据集,由此可知经验概率分布 ,可以通过极大化训练数据的对数似然函数来求模型参数。 训练数据的对数似然函

皮皮blog 6552

VxWorks系列 快速导航

Vxworks系列快速阅览导航

Mr.Sugarcane 1315

CRF条件随机场进行中文文本分词

文章目录一、问题分析1.CRF简述与对比2.分析3. 构建特征函数4.维特比算法二、算法实现三、结果展示四、总结1.模型2.算法3.策略五、源码 一、问题分析 1.CRF简述与对比 CRF分词原理 CRF把分词当做字的词位分类问题,通常定义字的词位信息如下: 词首,常用B表示 词中,常用I表示 词尾,常用E表示 单子词,常用S表示 CRF分词的过程就是对词位标注后,将B和E之间的字,以及S单字构成分词 CRF分词实例: 原始例句:我爱北京天安门 CRF标注后:我/S 爱/S 北/B 京/E

BCblack的博客 2192

beegfs读取文件完整流程分析

读取小于512KB文件数据,小于1s 读取15MB文件数据,花费7秒。

wfzy的博客 836

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

机器学习(有监督)——条件随机场CRF

以命名实体为例:类别[B,I,O],B表示名字的第一个字,I表示名字后面的字,O表示不是名字的字。则序列X[他,叫,王,小,明,。],对应的标签Y[O,O,B,I,I,O]。input3->结束中:三个标签里最优的标签是label2,往回找input2->input3的最优标签是label3,同理input1->input2是label3,所以最优标签状态就是label3、label3、label2)。实际上就是所有路径得分之和:1-1-1、1-1-2、1-1-3、......、3-3-2、3-3-3。

qq_57832544的博客 2979

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

【NLP 36、CRF条件随机场 —— 源码解读】

① 输入序列 X,输出序列为 y的路径分数:A为转移矩阵(代表前一个字向后一个字转移的概率),P为发射矩阵(过神经网络的每个字对应的概率值),s(X, y)代表任意一条路径的正确概率得分(这里的路径分数可以看作结合两矩阵,再做 log 运算后的)② 输入序列X,预测输出序列为y的概率:对上式做softmax,对 步骤 ① 得到的所有路径分数做归一化依然希望这个路径分数是最大的其他路径的总概率得分之和的 log 值正确路径的总概率得分CRF会明显拖慢训练速度,以效率的角度考虑可以不使用CRF。

m0_73983707的博客 1593

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

CRF 条件随机场

目录 1. 基本概念 1.1 各种随机场 1.2 CRF模型的训练原理 1.3 条件随机场的参数化形式 1.4条件随机场对应的简化概率表达 2. 例子 定义CRF中的特征函数 从特征函数到概率 CRF与逻辑回归的比较 CRF与HMM的比较 HMM和CRF区别 3. Tensorflow实现 tf.contrib.crf (1)tf.contrib.......

满腹的小不甘 6818
上一篇: 深度学习环境搭建手册(二)
下一篇: 学习技巧
binbigdata
博客等级 码龄9年 227粉丝 68原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值