自然语言处理之命名实体识别：Hidden Markov Model (HMM) 与 CRF 比较

最新推荐文章于 2025-08-04 14:23:06 发布
最新推荐文章于 2025-08-04 14:23:06 发布
阅读量765 收藏 13
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： 自然语言处理 easyui 人工智能 深度学习 javascript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhubeibei168/article/details/147431132

自然语言处理之命名实体识别：Hidden Markov Model (HMM) 与 CRF 比较

在这里插入图片描述

自然语言处理与命名实体识别简介

NLP的基本概念

自然语言处理（Natural Language Processing，NLP）是人工智能领域的一个重要分支，它研究如何让计算机理解、解释和生成人类语言。NLP技术广泛应用于文本分类、情感分析、机器翻译、问答系统、语音识别和命名实体识别等场景。

命名实体识别的重要性

命名实体识别（Named Entity Recognition，NER）是NLP中的一个关键任务，它旨在从文本中识别出具有特定意义的实体，如人名、地名、组织名、时间、货币等。NER在信息抽取、知识图谱构建、智能问答等应用中扮演着重要角色，能够帮助系统理解文本的深层含义，提高信息处理的准确性和效率。

命名实体识别示例：使用HMM

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：命名实体识别简介
zhubeibei168的博客
04-23 799
通过上述介绍，我们了解了命名实体识别的基本概念、应用场景以及HMM模型在NER中的应用原理和步骤。HMM虽然在处理序列标注问题上具有一定的优势，但其局限性也促使研究者探索更复杂的模型，如条件随机场（CRF）、深度学习模型等。在实际应用中，选择合适的模型需要根据具体任务和数据特点来决定。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：自然语言处理基础
zhubeibei168的博客
04-23 582
Hidden Markov Model (HMM) 是一种统计模型，特别适用于处理具有时间序列特性的数据，如语音识别、文本分析、生物信息学中的序列分析等。HMM 由两个随机过程组成：一个不可见的马尔可夫过程（状态序列），以及一个依赖于该马尔可夫过程的观测序列。模型的核心在于，观测序列是状态序列的间接表现，而状态序列是隐藏的，不可直接观测。状态集合Ss1s2sNSs1​s2​...sN​，其中NNN是状态总数。观测集合Vv1v2vMVv1​v。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：中文命名实体识别挑战
zhubeibei168的博客
04-23 1029
HMM 在 NLP 中的应用广泛，从词性标注到命名实体识别，都能发挥重要作用。通过学习序列数据中的概率关系，HMM 能够预测未知序列的状态，从而实现文本的自动分析和理解。在实际应用中，HMM 的参数估计和模型训练需要大量标注数据，以及适当的算法，如 Baum-Welch 算法，来优化模型性能。隐马尔可夫模型（Hidden Markov Model, HMM）是一种统计模型，常用于处理序列数据，如语音识别、文本分析等。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：基于HMM的多语言命名实体识别
zhubeibei168的博客
04-22 1080
HMM（Hidden Markov Model，隐马尔可夫模型）是一种统计模型，用于描述一个含有未知参数的马尔可夫过程。在HMM中，系统被假设为一个马尔可夫过程，其状态是不可见的（即隐藏的），但每个状态都产生一个可见的输出。状态集合Ss1s2sNSs1​s2​...sN​，其中NNN是状态的总数。观测集合Vv1v2vMVv1​v2​...vM​，其中MMM是观测的总数。状态转移概率矩阵AaijAaij​，其中a。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：隐马尔可夫模型原理
zhubeibei168的博客
04-23 813
隐马尔可夫模型（Hidden Markov Model, HMM）是一种统计模型，特别适用于处理序列数据，如时间序列或文本序列。在NLP中，HMM被广泛应用于词性标注、命名实体识别、语音识别等任务。HMM通过定义一系列隐藏状态和观测状态，以及状态之间的转移概率和观测概率，来建模序列数据的生成过程，从而实现对序列数据的分析和预测。马尔可夫链是一种统计模型，它描述了一种随机过程，其中下一状态的概率仅依赖于当前状态，而不依赖于过去的状态。这种特性被称为“马尔可夫性质”。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：HMM状态与观测值定义
zhubeibei168的博客
04-22 793
在Hidden Markov Model (HMM)中，状态是模型的核心组成部分，代表了在某一时刻系统可能处于的内在情况。HMM通过这些状态来描述一个序列的生成过程，而这些状态是不可直接观测的，即它们是“隐藏的”。状态可以被定义为模型内部的抽象概念，它们不直接与外部世界交互，但可以通过观测值间接推断。在命名实体识别（NER）任务中，状态通常对应于文本中实体的类别，如“人名”、“地名”、“组织名”等。在HMM中，观测值是模型与外部世界交互的界面，它们是直接从数据中获取的，用于推断隐藏状态的线索。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：概率论与数理统计
zhubeibei168的博客
04-22 621
通过上述内容，我们了解了命名实体识别的基本概念，以及如何使用Hidden Markov Model（HMM）来解决NER问题。HMM模型通过概率论和数理统计的方法，能够有效地从文本中识别出命名实体，为自然语言处理的多个应用提供了基础支持。隐藏马尔可夫模型(HMM)是一种统计模型，用于描述一个含有未知参数的马尔可夫过程。在NLP中，HMM常用于处理序列标注问题，如词性标注和命名实体识别。隐藏状态（Hidden States）SPERLOCORGOSPERLOCORGO。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)与规则方法结合的命名实体识别
zhubeibei168的博客
04-23 755
命名实体识别是NLP中的核心任务，HMM作为一种统计模型，能够有效地预测文本中的实体标签。结合规则方法，可以进一步提高NER的性能，尤其是在处理特定实体类型或新实体时。通过上述实例代码，我们展示了如何使用HMM进行实体识别，并通过规则方法进行修正，为NER任务提供了一种实用的解决方案。HMM，即隐马尔可夫模型，是一种统计模型，用于描述一个含有未知参数的马尔可夫过程。在HMM中，系统被假设为一个马尔可夫过程，其状态是不可见的（即“隐”状态），但每个状态都产生一个可见的输出。状态集合Ss1s2sN。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：命名实体识别的实际应用案例
zhubeibei168的博客
04-23 748
隐马尔可夫模型（HMM）是一种统计模型，用于描述一个含有未知参数的马尔可夫过程。在HMM中，系统的真实状态是不可见的，但可以通过观察序列来推断。状态集合：系统可能处于的状态。观察集合：在每个状态下可能观察到的事件。状态转移概率矩阵和观察概率矩阵：描述状态之间转移的概率和在特定状态下观察到特定事件的概率。条件随机场（Conditional Random Field, CRF）是一种用于序列标注和结构化预测的统计建模方法，它能够全局优化序列的标签，而不是像HMM那样局部优化。
从零打造大语言模型--处理文本数据
qq_45425616的博客
08-02 347
本文介绍了构建大语言模型前处理文本数据的关键步骤。主要内容包括：1）词嵌入将离散 token 映射为连续向量；2）文本分词技术，包含正则表达式切分英文、jieba 处理中文以及混合分词方案；3）建立词表实现 token 与 ID 的双向映射；4）实现简单分词器并处理特殊 token；5）介绍 BPE 算法和 tiktoken 工具的应用；6）展示滑动窗口采样和数据加载器的实现。文章通过代码示例演示了从原始文本到模型可处理数据的完整流程，涵盖了英文、中文及混合文本的处理方法。
大语言模型的解码策略：贪婪解码与波束搜索
qq_63117516的博客
08-03 349
以语言模型为例，给定起始 token，比如"<BOS>"
李宏毅NLP-10-语音分离
uncle_ll的博客
08-02 630
摘要 本文系统介绍了语音分离技术，重点分析说话人分离任务。语音分离包含语音增强（降噪）和说话人分离（分离重叠语音）两个方向。说话人分离任务需从混合音频中分离出独立说话人信号，研究集中于单麦克风、双说话人场景，并需解决训练与测试说话人不同的泛化问题。文章详细阐述了评估指标（SNR、SI-SDR、PESQ、STOI）及其优缺点，特别是SI-SDR通过信号投影解决了SNR的幅度作弊问题。针对说话人分离的置换问题，介绍了基于掩码的方法，通过生成时频掩码矩阵从混合信号中分离目标语音。该技术可应用于会议记录、语音识别等
解读LISA：通过大型语言模型实现推理分割
所有专家都曾始于新手
08-01 841
LISA是一种突破性的多模态AI模型，开创性地将大型语言模型(LLM)的推理能力与图像分割任务结合，提出"推理分割"新范式。其核心创新在于"Embedding as Mask"机制，通过特殊_TOKEN将LLM的文本输出引导至像素级分割任务。模型采用高效微调策略，在少量专业数据训练下即展现出强大的零样本能力，在ReasonSeg基准测试中gIoU达64.2%。LISA不仅实现了对复杂语言指令的理解和精确分割，更推动了AI从感知智能向认知智能的跨越，为多模态交互开辟了新
大语言模型信息抽取系统解析
m0_74924137的博客
07-31 630
本文介绍了一个基于大语言模型的多领域信息抽取系统，可从金融和新闻文本中提取结构化数据。系统采用模块化设计，包含模式定义、示例数据、提示模板等核心组件，通过上下文学习和结构化提示引导模型完成信息抽取。金融领域关注股票数据，新闻领域提取事件信息。系统工作流程包括初始化提示、模型推理和后处理，支持JSON格式输出。技术亮点包括多领域支持、鲁棒性处理和上下文学习能力。作者建议增加自动分类、批量处理等功能以提升系统扩展性。该系统展示了如何有效利用大语言模型进行专业领域的信息抽取。
GenieWizard: Multimodal App Feature Discovery with LargeLanguage Models
东方
08-01 50
摘要： 《GenieWizard: Multimodal App Feature Discovery with Large Language Models》提出了一种AI辅助工具，通过LLM模拟用户行为，自动发现多模态应用的缺失功能。其核心流程包括：1）基于代码骨架生成用户指令；2）通过推测式解析和抽象解释识别未实现功能；3）在IDE中提供开发建议。实验表明，该工具可使开发者多实现42%的功能，并降低50%认知负荷。研究对教育技术有重要启示，如虚拟用户测试、AI辅助需求预测及低门槛教育工具开发。局限性包括文
Unsloth 大语言模型微调工具介绍
最新发布
wpgddt的博客
08-04 529
Unsloth是一款基于PyTorch的开源工具，专注于加速大型语言模型（LLM）的微调和推理过程。它通过Triton语言重写核心代码，在不损失精度的情况下实现2-5倍的训练速度提升，并减少80%内存消耗。支持LoRA/QLoRA等低精度微调技术，最低仅需8GB显存。该工具兼容多种主流模型，提供模型权重合并和格式转换功能，便于后续部署。相比HuggingFace Trainer，Unsloth在LoRA微调方面具有更优的性能和资源利用率，适合本地化轻量级微调需求。
机器翻译入门：定义、发展简史与核心价值
数据知道的博客
08-03 1004
摘要： 机器翻译（MT）利用计算机技术实现跨语言自动转换，经历了规则、统计、神经网络和Transformer等技术演进，从1940年代萌芽到如今的大模型时代。其核心价值在于消除语言壁垒、赋能产业升级、推动知识普惠和支撑技术创新。尽管面临低资源语言和文化差异等挑战，随着大语言模型的发展，机器翻译正朝着更精准智能的方向发展，成为全球化时代不可或缺的信息基础设施。
大语言模型API付费？
weixin_62726761的博客
07-30 1046
✅模型是开源的≠API 是免费的✅ 如果你自己部署模型，本地使用 0 成本❌ 如果调用别人的 API 云服务（OpenAI、Claude、Gemini），则通常需要按 token 或调用次数付费如何用免费的大语言模型开发项目，一些部署方法或API 替代方案（例如vLLM+ Hugging Face 模型），搭建开源模型 API？好的，我们来一步步搭建一个免费且功能强大的大语言模型 API 接口，你可以用来替代 OpenAI 或其他付费服务。
使用GPT机器翻译详解，及对应实现翻译的3个案例
数据知道的博客
08-04 621
GPT机器翻译利用Transformer架构的大型语言模型（如GPT-3.5/4）实现高质量的跨语言转换。相比传统神经机器翻译，其核心优势在于：1）强大的上下文理解能力，能处理长文本中的指代和歧义；2）零样本/少样本学习能力，无需大量平行语料；3）支持多语言翻译和风格一致性保持。实现方式包括调用OpenAI API和本地部署开源模型（如LLaMA）。通过Python示例代码展示了如何构建GPT翻译器，包括单文本和批量翻译功能，支持中英等10种语言互译，并具备错误重试机制。该技术特别适合文学翻译、少资源语言处
CRF与HMM训练代价对比：CRF在命名实体识别中的优势详解
本文档主要探讨了条件随机场(CRF, Conditional Random Fields)与隐马尔可夫模型(HMM, Hidden Markov Model)在命名实体识别(Named Entity Recognition, NER)任务中的训练代价对比以及CRF在解决文本序列标注问题中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值