HanLP-基于HMM-Viterbi的人名识别原理介绍

最新推荐文章于 2022-10-13 17:14:01 发布
最新推荐文章于 2022-10-13 17:14:01 发布
阅读量336 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： hanlp HMM-Viterbi 人名识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/adnb34g/article/details/97103091

 

Hanlp自然语言处理包中的基于HMM-Viterbi处理人名识别的内容大概在年初的有分享过这类的文章，时间稍微久了一点，有点忘记了。看了 baiziyu 分享的这篇比我之前分享的要简单明了的多。下面就把文章分享给大家交流学习之用，部分内容有做修改。

 

基

本文主要介绍一下HanLP是如何利用HMM来做人名识别的。本思想是把词语序列作为观测序列，将角色序列作为隐藏序列，当模型预测出最佳隐藏状态序列后，利用模式最大匹配法，匹配出人名实体。下边说一模型的三要素在这个应用中所对应的内容，因为训练阶段就是要求解这三个要素的值。

假设有下边的观测序列和其对应的隐藏序列

 

观察值序列：词1 词2 … 词n

隐变量序列：角色1 角色2 … 角色n

训练阶段：统计三个要素（三个矩阵的元素值）

初始概率分布：

最低0.47元/天 解锁文章

200万优质内容无限畅学
分词词性标注与命名实体识别
AI天才研究院
04-28 680
1. 背景介绍 自然语言处理 (NLP) 是人工智能领域的一个重要分支，其目标是使计算机能够理解、处理和生成人类语言。在 NLP 的众多任务中，分词、词性标注和命名实体识别是三个基础且至关重要的任务，它们为更高级的 NLP 应用（例如机器翻译、文本摘要和问答系统）奠定了基础。 1.1 分词 分词是
基于HanLP分词的命名实体提取
热门推荐
XiaoXiao_Yang77的博客
11-03 1万+
文本挖掘是抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识，并且利用这些知识更好地组织信息的过程。对于文本来说，由于语言组织形式各异，表达方式多样，文本里面提到的很多要素，如人名、手机号、组织名、地名等都称之为实体。在工程领域，招投标文件里的这些实体信息至关重要。利用自然语言处理技术从形式各异的文件中提取出这些实体，能有效提高工作效率和挖掘实体之间的潜在联系。文本预处理1、文本清洗目前，
Hanlp实战HMM-Viterbi角色标注中国人名识别
adnb34g的博客
10-22 666
这几天写完了人名识别模块，与分词放到一起形成了两层隐马模型。虽然在算法或模型上没有什么新意，但是胜在训练语料比较新，对质量把关比较严，实测效果很满意。比如这句真实的新闻“签约仪式前，秦光荣、李纪恒、仇和等一同会见了参加签约的企业家。”，分词结果：[签约/v, 仪式/n, 前/f, ，/w, 秦光荣/nr, 、/w, 李纪恒/nr, 、/w, 仇和/nr, 等/u, 一同/d, 会见/v, 了/ul...
HanLP中人名识别分析详解
weixin_34400525的博客
12-05 198
在看源码之前，先看几遍论文《基于角色标注的中国人名自动识别研究》关于命名识别的一些问题，可参考下列一些issue:l·名字识别的问题 #387l·机构名识别错误l·关于层叠HMM中文实体识别的过程HanLP参考博客：词性标注层叠HMM-Viterbi角色标注模型下的机构名识别分词在HMM与分词、词性标注、命名实体识别中说：分词：给定一个字的序列，找出最可能的标签序列（断...
HanLP分词工具中的ViterbiSegment分词流程
adnb34g的博客
08-05 765
本篇文章将重点讲解HanLP的ViterbiSegment分词器类，而不涉及感知机和条件随机场分词器，也不涉及基于字的分词器。因为这些分词器都不是我们在实践中常用的，而且ViterbiSegment也是作者直接封装到HanLP类中的分词器，作者也推荐使用该分词器，同时文本分类包以及其他一些自然语言处理任务包中的分词器也都间接使用了ViterbiSegment分词器。 今天的文章还会介绍各分词词典...
隐马尔可夫模型(HMM)实现命名实体识别(NER)
敷衍zgf的博客
10-13 3442
详细讲解使用隐马尔可夫模型实现命名实体识别案例
自然语言处理工具HanLP-基于层叠HMM地名识别
adnb34g的博客
07-26 590
本篇接上一篇内容《HanLP-基于HMM-Viterbi的人名识别原理介绍》介绍一下层叠隐马的原理。 首先说一下上一篇介绍的人名识别效果对比： 1. 只有Jieba识别出的人名 准确率极低，基本为地名或复杂地名组成部分或复杂机构名组成部分。举例如下： [1] 战乱的阿富汗地区，枪支可随意买卖，AK47价格约500人民币 “阿富汗”被识别为人名。 [2] 安庆到桂林自驾游如何规划？ “...
HanLP中的人名识别分析详解
adnb34g的博客
10-29 983
在看源码之前，先看几遍论文《基于角色标注的中国人名自动识别研究》 关于命名识别的一些问题，可参考下列一些issue: u名字识别的问题 #387 u机构名识别错误 u关于层叠HMM中文实体识别的过程 HanLP参考博客： 词性标注 层叠HMM-Viterbi角色标注模型下的机构名识别 分词 在HMM与分词、词性标注、命名实体识别中说： 分词：给定一个字的序列，找出最可能的标签序列...
pyhanlp 分词与词性标注
FontTian的博客
09-20 8427
pyhanlp中的分词器简介 pyhanlp实现的分词器有很多，同时pyhanlp获取hanlp中分词器也有两种方式 第一种是直接从封装好的hanlp类中获取，这种获取方式一共可以获取五种分词器，而现在默认的就是第一种维特比分词器 维特比 (viterbi)：效率和效果的最佳平衡 双数组trie树 (dat)：极速词典分词，千万字符每秒（可能无法获取词性，此处取决于你的词典） 条件随机场 (cr...
【2016/2/1】基于HMM的中文人名识别
javacankillyou的专栏
02-01 2302
好久没上来了。题目中的项目就是我的毕业设计，现在我还在开始做的阶段，编码都没开始。   先说一下前期准备吧。要会java，然后把《中文信息抽取》还有《信息检索》这两本书看完。恩。其他的以后再补。
命名实体识别
Marshall的专栏
07-05 1万+
方法有HMM、ME、crf、svm、mlp等 基于HMM、ME、CRF的方法和分词，pos-tagging类似，字标注方法 基于SVM 以英文命名实体识别为例，将识别看成分类问题，从语料库中提取每个词及其上下文的特征，加上该词的标签，组成一个训练样本，训练svm分类器，完成之后对未标注语句即可进行识别。 feature import
【命名实体识别】HMM-Viterbi角色标注中国人名识别
zkq_1986的博客
12-04 2845
实战HMM-Viterbi角色标注中国人名识别 这几天写完了人名识别模块，与分词放到一起形成了两层隐马模型。虽然在算法或模型上没有什么新意，但是胜在训练语料比较新，对质量把关比较严，实测效果很满意。比如这句真实的新闻“签约仪式前，秦光荣、李纪恒、仇和等一同会见了参加签约的企业家。”，分词结果：[签约/v, 仪式/n, 前/f, ，/w, 秦光荣/nr, 、/w, 李纪恒/nr, 、/
HanLP中人名识别分析
weixin_33786077的博客
05-11 376
HanLP中人名识别分析 在看源码之前，先看几遍论文《基于角色标注的中国人名自动识别研究》 关于命名识别的一些问题，可参考下列一些issue: 名字识别的问题 #387 机构名识别错误 关于层叠HMM中文实体识别的过程 HanLP参考博客： 词性标注 层叠HMM-Viterbi角色标注模型下的机构名识别 分词 在HMM与分词、词性标注、命名实体识别中说： 分词：给定一个字的序列，找出最可能的...
hanlp源码解析之中文分词算法
lanlantian123456的博客
10-24 520
词图 词图指的是句子中所有词可能构成的图。如果一个词A的下一个词可能是B的话，那么A和B之间具有一条路径E(A,B)。一个词可能有多个后续，同时也可能有多个前驱，它们构成的图我称作词图。 需要稀疏2维矩阵模型，以一个词的起始位置作为行，终止位置作为列，可以得到一个二维矩阵。例如：“他说的确实在理”这句话 图词的存储方法：一种是的DynamicArray法，一种是快速offset法。Hanlp代码...
Viterbi分词详解-hanlp
qq_18674585的博客
07-16 1346
1.根据词库，生成所有所有字可能组成的词（词网）。例如：当下雨天地面积水分外严重0:[ ]1:[当, 当下]2:[下, 下雨, 下雨天]3:[雨, 雨天]4:[天, 天地]5:[地, 地面]6:[面, 面积]7:[积, 积水]8:[水, 水分]9:[分, 分外]10:[外]11:[严, 严重]12:[重]13:[ ]前后空为起始和末尾标志2.通过遍历上述词网0：1:当 A1， 当下 A2通过“当”...
Keras进行人民币面额识别（一）
DDB
06-14 3424
TinyMind人民币面值&冠字号编码识别挑战赛 链接地址https://www.tinymind.cn/competitions/47?rron=banner 当我看到这个比赛的时候，热身赛已经结束了，不过也觉得自己不可能拿奖金，练习一下技术还是可以的。 下载下来训练集后，发现是九种面值的大集合，需要将他们分类，同时给了一个csv文件，里边放着对应图片的面值，这个时候就需要整理一下了 ...
基于GMM-HMM的孤立词语音识别系统
实现一个基于GMM-HMM的孤立词语音识别系统，通常需要以下几个步骤： 1. **数据预处理**：包括读取音频文件、进行预加重、分割成帧、窗函数处理和特征提取（如梅尔频率倒谱系数（MFCC））。 2. **训练模型**：使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值