隐马尔可夫简介(转)

HMM(隐马尔科夫链)介绍 HMM 隐马尔科夫链介绍标签(空格分隔): HMM 马尔科夫最近时间需要了解HMM算法,在此做了一些了解。本文主要基于我爱自然语言处理总结而成。介绍我们通常希望寻找一个事物的规律,比如计算机的指令序列,句子中的词语序列等等。 举个例子来说,有人试图通过一片海藻推断天气——民间传说告诉我们‘湿透的’海藻意味着潮湿阴雨,而‘干燥的’海藻则意味着阳光灿烂。如果它处于一个中间状态(‘有湿气’),我们就无法 阅读详情

同前面一样,因为编辑器不支持latex方式的数学公式输入,所以我就试图用文字的方式来简要描述一下隐Markov模型(Hidden Markov Model,HMM)。所有这类模型都有一个前提假设,就是下一个时刻的状态只与当前时刻相关。满足这种特性的过程就是Markov过程。可能有人会立刻联想到物理学中的绝对论,Laplace当年豪迈地宣称,只要给定某个时刻宇宙的全部状态,那么理论上我们可以计算出宇宙的下一时刻的全部状态,以致可以计算出宇宙的无限未来。但是,Markov过程与Laplace决定论还是有本质区别的。区别在于,决定论下一时刻的状态完全由当前时刻决定;而Markov过程下一时刻的状态可能有多种,知道了当前时刻的状态,我们只能知道下一时刻可能会出现哪些状态,这些状态出现的概率如何。所以,Markov过程更接近量子物理,当然,这种接近仅仅在概率这一点上。

        回到我们的主题。谈到隐Markov模型,那么我们自然就先想知道不隐的Markov模型是啥。我们来看一个例子。按照我们的感觉,如果今天下雨,那么我们认为明天也下雨的可能性是相当高的;而如果今天艳阳高照,那么明天也非常可能是晴天。这可以说就是满足了前述的Markov假设。我们把天气的状态分成三种:晴天、阴天、雨天。那么我们就可以根据我们的经验得到状态之间的转移概率,从而形成一个矩阵。并且我们注意到,前面所说的这个事情是与时间无关的。也就是,今年的情况是这样,明年的情况也应该是这样,这个转移概率矩阵是不随时间而变化的。那么我们知道了初始状态後就可以计算未来某个时刻系统可能处于的状态的概率,这是非常简单的一个计算。这样一个模型就是所谓的Markov模型。

        但是,作为男人,我们就甘心玩这种简单得不能再简单的游戏吗?显然不能!再简单的东西我们也要玩出花样来,至少让别人看了能吓一跳,然後翘起大拇指说:你牛!所以,隐Markov模型就应运而生了。记住我们的宗旨,我们的宗旨是要吓住别人,而吓住别人的最好办法就是一环套一环。你看,地球火星都绕着太阳转,这是简单得不能再简单的圆。可如果我说地球是中心,然後让你计算火星的运动轨迹,这立刻吓倒一大片。当年地心说盛行之时,这种一轮套一轮的天体计算着实是把相当多的热情少年拒之门外。而隐Markov过程也是引入了两个随机过程,并且隐去中间一个环节,让一切看起来复杂而不简单。

        我们继续前面的例子。在计算已知当前天气情况,推导未来天气情况的问题时,我们感觉很轻松。那么现在我们进一步将问题复杂化。我们这有一个老先生,他中午有时候午休,有时候不午休。奇怪的是,他的这个作息规律跟天气有一定的关系。如果是晴天,他午休的概率更大一点;而如果是雨天,他不午休的概率更大一点。这个老先生一日突发奇想,他把前面我们说的转移概率以及三种天气条件下他午休的概率整理好发给他远在异地的儿子,他还告诉他儿子最近一周的每一天他是午休了还是没午休。他要考考他儿子,从他这一周的作息情况能否得出家乡这一周最可能的天气情况。这就是一个典型的隐Markov问题。

        要解决这个问题我们必须注意到一点:这是一个最优问题,并且这个最优问题存在最优子结构。如果我们标记这个时间序列是1到7,那么对于这个问题一个最优解如果是q[1]到q[7]标记的一个天气状态序列,那么对于一个子问题1到6,q[1]到q[6]标记的状态序列必然是这个子问题的最优解。我们可以很轻松地证明这一点,因为如果存在其他的解是最优解,那么我们可以将这个最优解移植过来,那么q[1]到q[7]形成的状态序列就不是当前问题的最优解了。另外,这个问题也具备重叠子结构的特征,所以他适合用动态规划算法。当然,在这里,他换了一个名字,叫Viterbi算法。

        事实上,上面这个问题仅仅是隐Markov模型的三个经典问题中的一种,即所谓的“解码问题”。这类问题是隐去了状态序列(对应到最近一周每天的天气情况),而根据观察值序列(对应到老先生最近一周的每天作息状态)来估计最可能的状态序列(解码)。隐Markov模型还涉及另外两个问题:

        1. 评估问题。就是知道了模型的各个参数(对应到我们这里所说的转移概率矩阵,三种天气情况下的午休概率),我们来计算一下某个观察值序列发生的概率;

        2. 学习问题。对于一个给定的观察值序列,我们想通过修改模型参数,使得这个观察值序列发生的概率最大。

我们现在来更完整地描述一下隐马可夫模型。这个模型有两个关键过程:一个是状态转移。对应到我们前面的例子,就是天气情况。某一天的天气情况是一个状态,次日的天气情况由前日天气状态转移而来,晴阴雨的可能性由状态转移概率决定。但是,这个状态及状态转移对于观察者而言都是未知的。对应到我们的例子,就是老先生的儿子是不知道家里一周天气情况的。第二个关键过程就是一个随机过程。对应到我们的例子就是天气与老先生午休的关系。这其实是一个不确定的关系,也就是说,是一个概率事件。这个随机过程的观察值对于观察者而言是已知的。对应到我们的例子就是老先生的儿子知道他父亲一周来的午休情况。

        这个模型有三个经典问题:

        1. 评估问题。已知这个模型的各个参数(转移概率矩阵,初始时刻各个状态出现的概率,随机过程概率),求解某个观察值序列出现的概率;

        2. 解码问题。已知这个模型的参数、观察值序列。推导最有可能的状态序列;

        3. 学习问题。已知一个观察值序列。推导一个参数组合,使得这个观察值序列出现的可能性最大。

        下面我们来一一考察这三个问题。先来第一个问题。我们首先考虑最简单的一个情况,整个序列长度就是1,也就是我们只考察一个观察值出现的概率。这显然就将各个状态初始出现的概率乘以各个状态中出现观察值的概率得到的结果加起来求和。现在我们再来看两个观察值的情形。我们仍然希望这个时候能够得到各个状态出现的概率,然後乘以各自的观察值出现概率,最後求和。而各个状态出现的概率并不难得出:因为我们已经有了初始时刻各个状态出现概率,也有了状态转换概率。于是两个观察值情形我们也能很轻松解决。推而广之,我们就可以用一个递归的方式完成这个问题。

        再来考察第二个问题。我们前面已经说过,第二个问题事实上就是一个动态规划问题。有不解者,请参考教科书相关章节。

        学习问题的一个通行解法是迭代算法。也就是,先凭经验估计一组参数值,然後每计算一步就改进一步参数值,直到相邻两次计算出来的概率小于一个阈值。这里关键的问题就是如何根据这一步的计算结果来改进参数值。更具体的就是我们要重新计算状态转换概率和随机过程的观察值出现概率。先看状态转移概率。我们计算系统从状态 i 跳转到状态 j 无非就是要计算从 i 跳转到 j 的预期次数和从 i 跳出的预期总次数,然後将两者相除。那么从i 跳转到j 的次数如何计算呢?说起来,步骤倒简单。我们先计算时刻t系统处于状态i而时刻t+1系统处于j状态的概率,然後将这个概率对t求和。这是显而易见的。并且如果继续对j求和,我们还可以得到从i跳出的总次数。关键就是这个t时刻处于i而t+1时刻处于j的概率如何求?这是关键。

        故事还是要从头讲起。我们之前在计算评估问题时已经计算过某个时刻出现某个状态i的概率。事实上,这种做法叫前向法。我们完全可以後向地计算评估问题,就是计算某个时候之後出现某个状态序列的概率。有了这两个概率,我们可以简单地用前向概率乘以转换概率乘以後向概率这样的方法来计算t时刻处于i而t+1时刻处于j的概率。当然,这只是语言的描述,读者应当去看相关文献以得到更精确的数学表达式。

        我们还需要计算状态j下出现观察值k的概率。同前面一样,我们就是要计算出现状态j以及观察值是k的次数除以出现状态j的次数。後者我们已经计算过了,而前者其实也简单。因为我们已经知道了观察值序列,所以我们只要挑出t时刻出现观察值k的那些来求和即可。这样整个算法就完成了。这个算法也有一个名字,叫Baum-Welch算法。

        对整个算法有不解的,可以参考网上的一个总结:http://math.sjtu.edu.cn/faculty/ykwu/HMM-DL.pdf


统计学习方法笔记-隐马尔可夫模型(内含Python代码实现) 一 马尔可夫模型 我们通过一个具体的例子来介绍一下什么是马尔可夫模型 我们假设天气有3种情况,阴天,雨天,晴天,它们之间的转换关系如下: (稍微解释一下这个图,我们可以这样认为,已知第一天是阴天,那第二天是阴天的概率是0.1, 第二天是晴天的概率是0.3,第二天是雨天的概率是0.6) 每一个状态转换到另一个状态或者自身的状态都有一定的概率。 马尔可夫模型就是用来表述上述问题的一个模型。 有这样一个状态链,第一天是阴天,第二天是晴天,第三天是雨天。 这样一个状态链就是马尔可夫链。 在上述例子中,如果我们并不知 阅读详情

相关推荐

HMM(隐马尔可夫)简介

通过一个简单的例子来介绍马尔可夫链: 假设天气有三种状态(晴天、多云、雨天),三种状态之间的转换关系如图: 我们想要通过今天的天气来推测明天的天气和后天的天气,可以直接根据状态转换关系来推测,这种可以直接观测到的状态转换(晴天—>雨天—>多云)就称作马尔可夫链。 如果我们不知道今天的天气只知道水藻的干湿状态,只通过水藻的状态来推测天气: 这种想推测的东西不能直接观测到,而是根据另一种我们可见的这种观测的东西去推算我们想知道的信息就需要用到隐马尔可夫模型。 隐马尔可夫模型(HMM):是

筱筱思的博客 3万+

【机器学习】马尔可夫模型与隐马尔科夫模型

马尔可夫模型(Markov Model)是一种用于描述系统状态随时间变化的数学模型。通俗地说,它是一种预测未来状态的工具,假设未来状态只依赖于当前状态,而不依赖于过去的状态。这种假设被称为“马尔可夫性”或“无后效性”。马尔可夫模型是一种非常有用的工具,用于描述和预测系统状态随时间变化的情况。关键是只考虑当前状态,而不考虑历史状态。这使得模型简单且易于计算,适用于许多实际问题,如天气预测、股票市场分析、语言处理等。初始状态分布π\piπ:描述系统初始时刻各状态的概率。状态转移概率矩阵AAA。

m0_53700832的博客 4742

HMM隐马尔可夫模型详解

目录 关于什么是隐马尔可夫模型我想你看到的解释应该是酱紫的: 或者是这样子的: 一、什么是隐马尔可夫模型 二、隐马尔可夫模型要解决的问题 三、问题解决 1.概率计算问题: 2.学习问题: 3.预测问题: 关于什么是隐马尔可夫模型我想你看到的解释应该是酱紫的: 隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程...

weixin_41911765的博客 3083

隐马尔可夫链

马尔科夫链(Markov Chain)是一种数学模型,它描述了一系列可能事件的概率,其中每个事件的发生仅依赖于前一个事件的状态。这一特性称为“无记忆性”或“马尔可夫性质”。我将用一个简单的天气预测模型作为例子来解释马尔科夫链。

weixin_65190179的博客 1631

隐马尔可夫链模型学习总结

隐马尔可夫链模型简介及其Matlab工具箱应用      隐马尔可夫链模型(Hidden Markov Model,HHM)是一种用来描述含有未知参数的Markov过程的统计模型。HHM从20世纪60年代提出以来被广泛的运用在自然语言处理、语音识别、机器学习等众多领域。下面首先通过Markov模型引入HHM的定义,然后详细介绍了HHM中的评估、解码和学习三个基本问题以及解决三个问题的常用算法,最

u010473025的专栏 9134

词性标记:隐马尔可夫模型简介(1/2)

作为人类,我们比这个星球上的任何动物都更了解自然语言的许多细微差别。比如说:“你吃了吗”,“企业吃不饱”,“吃豆腐”,“吃醋了”;同样一个,从一个符号出发,有不同的语义轨迹,让计算机也拥有同样的能力,这就是隐马尔可夫的威力。

gongdiwudu的专栏 6475

HMM知识点整合与理解

文章目录基本概念隐马尔可夫模型(HMM)HMM可以解决的问题模型评估问题(概率计算问题)解码问题(预测问题)参数评估问题(属于非监督学习算法)HMM的缺点HMM的应用N元语义背景简要介绍BMES标注预测 基本概念 马尔可夫性: 下一个状态只和当前状态有关(在现在的条件下,过去和未来彼此独立) 随机场: 给空间中的所有位置按某种分布随机赋予一个集合中的值,那么这个被赋值了的位置的全体称为随机场,随...

sailist的记录站 597

用deepseek对GPU服务器进行压力测试

利用 DeepSeek 模型对 GPU 服务器进行压力测试,核心思路是通过,验证 GPU 服务器在计算、显存、网络等维度的承载能力,同时观察稳定性与性能瓶颈。

weixin_42795092的博客 1610

【ML】【HMM】【转】隐马尔可夫模型(HMM)简介

隐马尔可夫模型(HMM)简介  转自:http://xiaofeng1982.blog.163.com/blog/static/315724582009824103618623/ 请各位读者深吸一口气……呼…… 开始…… (一)阿黄是大家敬爱的警官,他性格开朗,身体强壮,是大家心目中健康的典范。 但是,近一个月来阿黄的身体状况出现异常:情绪失控的状况时有发生。有时候忍不住放声大笑,有时候...

weixin_34184561的博客 99

用户消费行为分析(MapReduce实现,Hive分析)

一、题目要求 数据来自CDNow网站的一份用户购买CD明细,本数据集共有 6 万条 左右数据,数据为 CDNow 网站 1997年1月至1998年6月的用户行为 数据

紫烟的博客 3014

技术文档的语言表达:简洁、准确与易懂的平衡艺术

技术文档的语言表达不仅要简洁、准确,还需要能够打破技术壁垒,使不同背景的读者都能理解。这是一项需要技巧和经验的工作,它要求技术作者既要具备扎实的专业知识,又要具备清晰的表达能力。通过不断打磨语言的简洁性、准确性和易懂性,我们能够创造出一份高质量的技术文档,让知识的传递不再受限于语言的障碍。

人心有反复,好在山水有重逢。 4679

基于隐马尔可夫模型的股票预测【HMM】

本文探讨了利用隐马尔可夫模型(Hidden Markov Model, HMM)进行股票预测的建模方法,并详细介绍了模型的原理、参数初始化以及实验分析。

v20000727的博客 3256

Windows MCP 安装教程:让 AI 代理与 Windows 系统无缝交互

通过以上步骤,你已经成功安装和配置了 Windows MCP 服务。现在你的 Cursor 编辑器可以通过 MCP 协议与 Windows 系统进行深度交互,AI 代理能够:启动和控制应用程序执行系统命令自动化 UI 操作获取系统状态信息这为 AI 辅助开发和工作流程自动化提供了强大的基础。如果你在使用过程中遇到任何问题,欢迎在评论区讨论或查看项目的官方文档。

chenchihwen的专栏 3358

NILMTK——因子隐马尔可夫之隐马尔可夫

因子隐马尔可夫(FHMM)由Ghahramani在1997年提出,是一种多链隐马尔可夫模型,适合动态过程时间序列的建模,并具有强大的时序模型的分类能力,特别适合非平稳、再现性差的序列的分析。 马尔可夫链 随机过程的研究对象是随时间演变的随机现象,它是从多维随机变量向一族(无限多个)随机变量的推广。设T是一个集合,是随机试验的样本空间。是定义在T和上的二元实函数,对于每个,是一个确定的时间函数,对每个,是一个随机变量。则 ...

樱缘之梦 2455

车间数据孤岛终于破了!C#上位机+MQTT打通产线与MES,数据延迟从小时级降到秒级

本文针对工业上位机开发中常见的车间数据与企业管理系统(MES)割裂问题,提出基于C#和MQTT协议的完整解决方案。通过EMQX MQTT Broker实现数据实时双向传输,将质量追溯时间从2小时缩短至10秒,生产计划自动下发,实现秒级数据延迟。方案采用分层解耦架构,支持设备更换和系统升级,核心优势包括低延迟、高可靠性和易扩展性。文章详细介绍了MQTT协议选型理由、整体架构设计、技术选型(EMQX Broker和MqttNet客户端),并提供了C#实现代码和部署流程。该方案已在实际产线验证,可有效解决&quo

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 484

从点云到舱口尺寸:船甲板舱口检测的算法实现

本文提出了一种从船甲板激光扫描点云中自动检测舱口尺寸的算法。通过数据预处理(降采样、去噪、平面分割)后,采用甲板投影轮廓法将3D点云转换为2D图像,利用双次闭运算解决扫描碎片化问题,通过轮廓树检测内轮廓识别舱口。算法最终能稳定检测出三个主要舱口的长宽尺寸、面积和位置信息,矩形度超过0.89。该方法克服了扫描稀疏和围壁结构复杂的问题,参数可调性强,适用于工程实践。关键创新点在于将舱口识别转化为图像中的"洞"检测,而非直接处理3D几何特征。

点云兔子的博客 147

马尔可夫模型和隐马尔可夫_词性标注和隐马尔可夫模型简介

马尔可夫模型和隐马尔可夫by Divya Godayal 通过Divya Godayal 词性标注和隐马尔可夫模型简介 (An introduction to part-of-speech tagging and the Hidden Markov Model) by Sachin Malhotra and Divya Godayal 由Sachin Malhotra和Divya Godaya...

cumian8165的博客 1387

226届数字IC秋招笔试面试全攻略

本文系统介绍了数字IC设计岗位面试的核心技巧,聚焦三大关键环节:自我介绍、项目介绍和技术问题回答。在自我介绍部分,强调1-2分钟结构化表达,突出与岗位匹配的技能和量化成果;项目介绍环节提出"背景-职责-技术-难点-成果"五步框架,建议结合架构图和性能数据展示技术深度;技术问题回答策略包括理解问题、结构化思考、举例说明和诚实应对未知。文章还提供了项目包装方法,指导如何通过量化数据、架构创新展示和技术难点解决方案来突出项目亮点,并附有简历项目描述示例和技术问题回答模板,帮助面试者全方位展示专

2301_79143213的博客 1063

隐马尔可夫模型(HMM)详解

阅读原文 隐马尔可夫模型(Hidden Markov model, HMM)是一种结构最简单的动态贝叶斯网的生成模型,它也是一种著名的有向图模型。它是典型的自然语言中处理标注问题的统计机器学模型,本文将重点介绍这种经典的机器学习模型。 一、引言 假设有三个不同的骰子(6面、4面、8面),每次先从三个骰子里面选择一个,每个骰子选中的概率为1/3,如下图所示,重复上述过程,得到一串数...

Robin Hu的专栏 6万+

双目摄像头全景解析:从几何光学到深度智能

双目视觉系统基于仿生学原理,通过水平排列的双摄像头模拟人眼视差机制实现三维感知。其核心是通过标定、校正、匹配等算法流程,将视差转换为深度信息,最终生成三维点云。该系统在自动驾驶、机器人导航、工业检测等领域有广泛应用,但面临弱纹理、重复图案等挑战。未来发展趋势包括与事件相机、深度学习等技术的融合,进一步提升精度和动态性能。

reset2021的博客 120

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Pinyin2Hanzi_HMM:基于预训练隐马尔可夫模型的汉语拼音序列转汉字语句序列程序

本文提供并开源了一个基于预训练隐马尔可夫模型(HMM)的汉语拼音序列转汉字语句序列程序及数据集。项目地址:https://github.com/duyu09/Pinyin2Hanzi_HMM

Duyu09的博客 1114

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

看了这篇你还不懂隐马尔可夫模型,你就来打死我吧

如标题一样,隐马尔可夫模型谜一样的推导和应用,一直是机器学习入门朋友们的一个拦路虎。就是那种,提起来大致知道:噢!隐马模型啊,就是那个转移来转移去的一个模型,要解决三个基本问题,哪三个来着?对了,还有那啥维特比算法,前向后向算法,好了我懂!可是聪明的你,真的弄懂了吗?本文就来捋一捋,这是何方神圣,究竟有什么用处?? 去年学习张西宁老师的课,首次接触到隐马尔可夫模型这样一个概念,最近看了宗成庆老师...

ibelieve8013的博客 3933

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

基于隐马尔可夫的中文分词方法

基于隐马尔可夫的中文分词方法

学习中 1439

HMM(隐马尔可夫)中文分词

一、隐马尔可夫模型   隐马尔可夫模型(Hidden Markov Model,HMM)是用来描述一个含有隐含未知参数的马尔可夫过程。 1、举例理解   假设我手里有三个不同的骰子。第一个骰子是我们平常见的骰子(称这个骰子为D6),6个面,每个面(1,2,3,4,5,6)出现的概率是1/6。第二个骰子是个四面体(称这个骰子为D4),每个面(1,2,3,4)出现的概率是1/4。第三个骰子有八个面(称这个骰子为D8),每个面(1,2,3,4,5,6,7,8)出现的概率是1/8。   假设我们开始掷骰子,我们先

余俊晖,NLP炼丹师,目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。 6886
上一篇: 汉字编码问题(转)
下一篇: 中文分词预处理之N最短路径法小结(转)
TheAlgorithmArt
博客等级 码龄16年 6粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值