HMM、MEMM、CRF学习小结

最新推荐文章于 2021-05-25 10:30:52 发布
最新推荐文章于 2021-05-25 10:30:52 发布
阅读量975 收藏 2
点赞数 1
CC 4.0 BY-SA版权
文章标签： CRF HMM MEMM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zpp13hao1/article/details/80649201
本文总结了生成式模型（如HMM）与判别式模型（如MEMM和CRF）的区别与应用场景，通过具体例子展示了这些模型如何工作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先我是从https://www.zhihu.com/question/35866596和https://www.jianshu.com/p/55755fc649b1以及《数学之美》中学习的这三种概念，现在做个总结。

下面均已词性标注为例。

张三(名词)在(介词)星巴克(名词)喝(动词) 咖啡(名词)。

1.生成式：隐马尔科夫模型HMM 

o观测值：张三

i状态值：名词

A：状态转移概率矩阵p(i2|i1) 即第一个是名词，第二个是介词的概率。

B：观测概率矩阵P(o2|i2) 即介词是在的概率。

HMM属于有向图，并且是生成式模型，直接对联合概率分布建模  (注意，这个公式不在模型运行的任何阶段能体现出来，只是我们都去这么来表示HMM是个生成式模型，他的联合概率 P(O,I) 就是这么计算的)

2.判别式：MEMM最大熵马尔可夫模型


因为在实际应用中，状态是依赖观察值的，且MEMM是判别式，所以直接求学习条件概率。

特征函数

3.判别式CRF条件随机场







第08课：从自然语言处理角度看 HMM 和 CRF
春华秋实
09-22 826
近几年在自然语言处理领域中，HMM（隐马尔可夫模型）和 CRF（条件随机场）算法常常被用于分词、句法分析、命名实体识别、词性标注等。由于两者之间有很大的共同点，所以在很多应用上往往是重叠的，但在命名实体、句法分析等领域 CRF 似乎更胜一筹。通常来说如果做自然语言处理，这两个模型应该都要了解，下面我们来看看本文的内容。 从贝叶斯定义理解生成式模型和判别式模型 理解 HMM（隐马尔可夫模型）和 CR...
HMM,MEMM,CRF模型的比较(转)
FREEDOM
02-13 1214
CRF，HMM(隐马模型)，MEMM(最大熵隐马模型)都常用来做序列标注; HMM一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特征，限制了特征的选择，而MEMM模型则解决了这一问题，可以任意的选择特征，但由于其在每一节点都要进行归一化，所以只能找到局部的最优值，同时也带来了标记偏见的问题（label bias），即凡是训练语料中未出现的情况全都忽略掉；而CRF则很好的解
条件随机场CRF，隐马尔科夫HMM的理解与学习资源总结
weixin_33566282的博客
02-16 372
机器学习入门方法 a.完整特征工程竞赛 b.野博客理论入门理解 c.再回到代码深入理解模型内部 d.再跨理论，查阅经典理论巨作。这时感性理性都有一定高度，会遇到很多很大的理解上的疑惑，这时3大经典可能就可以发挥到最大作用了（李航周志华和经典的那3本）。 机器学习教程库：https://github.com/NLP-LOVE/ML-NLP 条件随机场阐述较好的：https://mp.weixin.q...
HMM学习心得
向阳争渡
03-19 352
HMM由初始状态概率向量、状态转移概率矩阵A和观测概率矩阵B决定。 初始状态概率矩阵=是时刻t=1处于状态的概率 初始状态概率与状态转移概率矩阵A决定了影藏的隐马尔科夫链，生成了不可观测的状态序列 观测概率矩阵B决定了如何从状态生成观测 HMM模型的两个基本假设： 隐藏的马尔科夫链在任意时刻t的状态只依赖于其前一时刻的状态，与其他时刻的状态、观测、时刻t均无关(状态转换只与前一状态有关)...
【ML】从HMM到CRF，我学到了什么？
jhoojhooablido
04-28 895
可以略过的前言 我必须要先承认，这是一篇入门级别的文章。源自上次电话面试中被问到HMM与CRF的异同，我没有回答好，于是写一篇粗浅的总结性文章，希望能让自己有所进步。若有不足之处，还请大佬们不吝赐教。百拜为谢！ 以前总结HMM与CRF的区别是什么，只是记住了HMM是判别模型，CRF是生成模型，深一点的，HMM针对于建模，而CRF是针对于建模，至于他们的原理是什么，他们到底在干什么，根本没有弄明...
[转] HMM与CRF
weixin_34204722的博客
05-15 279
知乎高赞回答，写的很好, mark一下 作者：Scofield链接：https://www.zhihu.com/question/35866596/answer/236886066来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 概率图模型学习笔记：HMM、MEMM、CRF 一、Preface 二、Prerequisite 2.1 概率图 ...
机器学习之隐马尔可夫模型(HMM)、最大熵马尔可夫模型(MEMM)、条件随机场(CRF)
anapple00的博客
05-25 1572
导读 HMM—MEMM—CRF
序列标注模型（二）—— CRF
07-08 709
##HMM、MEMM、CRF对比 这里，先来比较一下HMM、MEMM、CRF [参考链接](https://blog.youkuaiyun.com/lskyne/article/details/8669301?utm_source=blogxgwz7) #### HMM(隐马尔科夫模型) HMM模型中存在两个假设：一是输出观察值之间严格独立，二是状态的转移过程中当前状态只与前一状态有关(一阶马尔可夫模型)。 特点：对转移概率和表现概率直接建模，统计共现概率。 #### MEMM(...
HMM->MEMM->CRF以及BiLSTM+CRF中的CRF层
weixin_43914692的博客
07-09 718
参考： 1.B站《机器学习-白板推导系列（十七）》https://www.bilibili.com/video/av34444816/ 2.https://zhuanlan.zhihu.com/p/44042528 （中文译版） https://createmomo.github.io/2017/09/12/CRF_Layer_on_the_Top_of_BiLSTM_1/ （原版）这里只放了第一...
命名实体识别(基于hmm/crf/bilstm/bilstm+crf的理论理解及代码实践)
Enjoy_endless
07-11 4876
最近刚刚做了一个相关任务的学习、比较、调研及代码实践，特此分享。 本篇文章主要包括以下几个部分：任务目标、国内外相关工作、核心思想和算法描述、实验结果及分析、总结等。 1 任务目标 命名实体识别(Named Entities Recognition, NER)是自然语言处理(Natural Language Processing, NLP)的一个基础任务，其目的是识别语料中人名、地名、组织机构名...
###好好好好###HMM、CRF、MEMM区别
木东的博客
08-29 753
隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。 HMM首先出现，MEMM其次，CRF最后。三个算法主要思想如下： 1）HMM模型是对转移概率和表现概率直接建模，统计共现概率，...
CRF与HMM（判别模型与生成模型）
Xu_Wave
04-28 1743
CRF与HMM（判别模型与生成模型）面试题
HMM,MEMM,CRF总结和比较
fkyyly的专栏
10-09 1886
HMM（隐马尔科夫） 1 HMM是产生式模型 HMM是一种产生式模型，定义了联合概率分布p(x,y) ，其中x和y分别表示观察序列和相对应的标注序列的随机变量。为了能够定义这种联合概率分布，产生式模型需要枚举出所有可能的观察序列，这在实际运算过程中很困难，所以我们可以将观察序列的元素看做是彼此孤立的个体, 即假设每个元素彼此独立（和naive bayes类似），任何时刻的观察结果只依赖于该...
HMM ,MHMM,CRF 优缺点与区别
weixin_34129145的博客
02-15 3568
隐马尔科夫模型（HMM）： 图1. 隐马尔科夫模型 隐马尔科夫模型的缺点： 1、HMM只依赖于每一个状态和它对应的观察对象： 序列标注问题不仅和单个词相关，而且和观察序列的长度，单词的上下文，等等相关。 2、目标函数和预测目标函数不匹配： HMM学...
HMM+CRF笔记
AI_盲的博客
08-24 1966
HMM+CRF笔记 CRF就像一个反向的隐马尔可夫模型(HMM)，两者都是用了马尔科夫链作为隐含变量的概率转移模型，只不过HMM使用隐含变量生成可观测状态，其生成概率有标注集统计得到，是一个生成模型；而CRF反过来通过可观测状态判别隐含变量，其概率亦通过标注集统计得来，是一个判别模型。由于两者模型主干相同，其能够应用的领域往往是重叠的，但在命名实体、句法分析等领域CRF更胜一筹。 CRF和HM
从HMM到MEMM再到CRF
刘伟的博客
04-04 4144
1. HMM   HMM是一种生成式模型，它的理论基础是朴素贝叶斯，本质上就类似于我们将朴素贝叶斯在单样本分类问题上的应用推广到序列样本分类问题上。 在单样本朴素贝叶斯分类任务中： P(y∣x)=P(x∣y)∗P(y)P(x)P(y|x)=\frac{P(x|y)*P(y)}{P(x)}P(y∣x)=P(x)P(x∣y)∗P(y)​ 扩展到序列化样本分类问题任务中为： P(y1n∣x1n)=P(...
CRF条件随机场与HMM，MEMM比较
Rnan_prince的博客
08-13 1523
CRF简介 ConditionalRandomField：条件随机场，一种机器学习技术（模型） CRF由John Lafferty最早用于NLP技术领域，其在NLP技术领域中主要用于文本标注，并有多种应用场景，例如： 分词（标注字的词位信息，由字构词） 词性标注（标注分词的词性，例如：名词，动词，助词） 命名实体识别（识别人名，地名，机构名，商品名等具有一定内在规律的实体名词） 本文...
HMM->MEMM->CRF
燃烧吧！我的小宇宙！
02-06 4716
1 相关概念 随机过程 马尔科夫随机过程 随机场 马尔科夫随机场联合概率分布P(Y)P(Y)P(Y)可用无向图G(V,E)G(V,E)G(V,E)表示，在图GGG中，节点表示随机变量，边表示变量之间的依赖。如果该联合分布满足成对、局部、全局马尔科夫性，那么该联合分布称为概率无向图模型，或马尔科夫随机场（Markov radom field）. 图中节点之间的连接无方向限制，即没有强因果联系...
"CRF条件随机场与HMM及MEMM的比较和应用
与生成模型HMM（Hidden Markov Model）和判别模型MEMM（Maximum Entropy Markov Model）相比，CRF在建模和训练上有一些独特的特点。 首先，CRF满足齐次一阶马尔科夫假设，即当前状态的概率只与前一个状态有关。这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值