Mynlp中的高性能、自动歧义识别的人名识别算法

最新推荐文章于 2024-05-02 22:39:20 发布
原创 最新推荐文章于 2024-05-02 22:39:20 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人名识别 #NLP #感知机 #序列标注

Mynlp采用结构化感知机和序列标注模型进行人名识别，无需预先分词，能从文本中直接提取并识别歧义。在PKU数据集上，未考虑古汉语人名时，F1分数高达94.91。项目源码可在GitHub找到，调用简便，模型大小11.5M，内存占用45M。

人名识别

Mynlp的人名识别是基于结构化感知机、序列标注模型的实现。独特之处在于特征函数和Label的设计和其他NLP工具的差别。

该人名识别算法是基于字符输入的，也就是说不需要预先分词，直接从文本中提取人名，
天然具有歧义识别。在PKU数据集上，最终F1达94.91，如果剔除古汉语人名的影响，F1可以更高。

Mynlp项目地址：
https://github.com/mayabot/mynlp

调用非常简单

<dependency>
  <groupId>com.mayabot.mynlp</groupId>
  <artifactId>
最低0.47元/天 解锁文章
python 如何识别字符串中的人名 ，如何识别一串拼音字符串以及韵母的提取 （一些方法整理）
资深码脓的博客
10-25 1万+
一、识别字符串中的人名或特定名词 笔者所用的是百度智能云提供的词法分析接口，它可以对字符串分词，并且能够识别句子中的人名，地名，等等。好，接下来教你们如何使用这个接口。 官网：https://cloud.baidu.com/product/nlp/lexical/?_=1571913586808 1.安装Python SDK 首先我们需要安装百度提供的sdk，以便我们在代码中使用它提供的的词...
使用Mynlp感知机实现拼音流切分
09-07 591
基于Mynlp提供的感知机框架，实现拼音流切分的感知机模型方案。附代码!
中文人名自动识别的一种有效方法
10-16
中文信息计算机自动处理的研究已有几十年的 历史 , 但至今仍有许多技术难题没有得到很好解 决 , 中文姓名自动识别问题就是其中的一个。由于 它与中文文本的自动分词一样 , 属于中文信息处理 的基础研究领域 , 因而它的研究成果直接影响到中 文信息的深层次研究。汉语的自身特点使得中文信 息自动处理大多是先对要处理的文本进行自动分词 (加入显式分割符) , 然后再在分词的基础上进行词 法、语法、语义等方面的深入分析。而在分词阶 段 , 文本中的人名、地名以及其它专有名词和生词 大多被切分成单字词 , 在这种情形下如不能很好地 解决汉语文本中专有名词生词的识别问题 , 将给其 后的汉语文本的深入分析带来难以逾越的障碍。中 文姓名的自动识别问题就是在这种背景下提出来 的。对这一问题的研究目前采用的技术中主要利用 以下几方面的信息: 姓名用字的频率信息、上下文 信息[1 ,2 ] 、语料库统计信息[2 ] 、词性信息等[3 ] 。本 文的方法是 , 首先对中文人名的构成、姓名用字的 规律及上下文文本信息特征进行充分分析 , 在此基 础上建立起两组规则集 , 将其作用于测试文本 , 获 得初步识别结果 , 再利用大规模语料库的统计信息 对初步识别结果进行概率筛选 , 设定合适的阈值 , 输出最终识别结果。经对 50 多万字的开放语料测 试 , 系统自动识别出 1781 个中文人名 , 在不同的 筛选阈值下获得 90 %以上的识别准确率 , 而召回 率高于 91 %。
中文姓名识别算法
yangjian8801的专栏
01-04 6981
jcseg支持中文姓名的识别。 但是并不是什么很具有新意的算法，或者说需要经过一大版的数学公式计算才能实现的。 jcseg的姓名识别算法很简单，但是从实际效益来看，确实达到了我预期的效果。 首先说明：jcseg使用的不是机械匹配中文姓名（虽然词库里面有一些人名，cc-cedict里面整理出来的），本人觉得这样太机械了，这么的中文姓名不可能都存词库。 如何实现的呢？  巧妙利用
基于分布式的短文本命题实体识别之----人名识别（python实现）
weixin_34179762的博客
07-13 1690
目前对中文分词精度影响最大的主要是两方面：未登录词的识别和歧义切分。 据统计：未登录词中中文姓人名在文本中一般只占2%左右，但这其中高达50%以上的人名会产生切分错误。在所有的分词错误中，与人名有关的错误占到了将近90%，这中国人名都是根据人的想法起的名字，有很大的随意性，并且数量巨大，规律也不尽相同。 1.理论简介 命名实...
精选资源
基于BiLSTM-CRF网络的中文电子病历命名实体识别
最新发布
05-21
命名实体识别（Named Entity Recognition, NER）是自然语言处理（Natural Language Processing, NLP）中的核心任务之一，它旨在从文本中识别出具有特定意义的实体，如人名、地名、组织名等。在医疗领域，NER的主要...
声纹识别（语音识别）算法工程师必备技能
声纹感知 洞察芯声
05-02 2150
声纹识别（语音识别）算法工程师必备技能：编程语言、语音识别算法框架及神经网路训练框架。
jieba识别中文人名实战记录及心得
Smile_Lai的博客
01-09 3721
我理解的jieba官方的目标是做最好的python中文分词组件,但是在网上一搜,很多文章直接说成了是最好的中文分词组件,我看是误解了原文意思,就目前来说jieba分词在解决中文歧义方面还是解决不了(接下来会通过代码实战说明),所以精确度不是最好,也就不能说是最好的中文分词组件了,在此做个记录以便后期找到更好的中文分词组件.现在这类自然语言处理模块越来越多,关于好不好而言,只能说没有最好,只有更好,因为每个中文分词组件都在更新和进步.
具有自动歧义推断和删除功能的多发人员重新识别
03-10
随着技术的发展，尤其是在深度学习领域的进步，研究人员正在开发新的算法来减少重识别中的歧义性，并增强对同一行人因不同摄像头视角变化导致的外观变化的鲁棒性。本文提出的系统是一种创新的尝试，结合了形状上下文...
HanLP中人名识别分析详解
weixin_34400525的博客
12-05 209
在看源码之前，先看几遍论文《基于角色标注的中国人名自动识别研究》关于命名识别的一些问题，可参考下列一些issue:l·名字识别的问题 #387l·机构名识别错误l·关于层叠HMM中文实体识别的过程HanLP参考博客：词性标注层叠HMM-Viterbi角色标注模型下的机构名识别分词在HMM与分词、词性标注、命名实体识别中说：分词：给定一个字的序列，找出最可能的标签序列（断...
GenderGuesser：一种算法，可以通过NLP统计猜测来回答姓名是男性还是女性
02-22
性别猜测者 一种算法，可以通过NLP统计猜测来回答姓名是男性还是女性。 该项目是我在Microsfoft的自然语言处理（NLP）课程中获得认证的一部分，受到其所呈现内容的极大启发。 创建的Jupyter Notebook有大量文档，可在找到。
mynlp：一个生产级，高性能，预定，可扩展的中文NLP工具包。（中文分词，平均感知机，fastText，拼音，新词发现，分词纠错，BM25，人名识别，命名实体，自定义词典）
02-03
mynlp：一个生产级，高性能，预定，可扩展的中文NLP工具包。（中文分词，平均感知机，fastText，拼音，新词发现，分词纠错，BM25，人名识别，命名实体，自定义词典）
my nlp cod
12-12
my nlp code , test
python识别中文人名_使用Python在NLP中的命名实体识别中提取人名
weixin_39784263的博客
11-29 3113
我有一句话,我需要单独识别人名：例如：sentence = "Larry Page is an American business magnate and computer scientist who is the co-founder of Google, alongside Sergey Brin"我使用下面的代码来识别NER.from nltk import word_tokenize, p...
[nlp] 命名实体识别中的中文名识别算法
张伟的专栏
04-29 3303
目录 命名实体识别 基于CRF的命名实体识别方法 SVM和最大熵相结合的中文机构名自动识别 中文名识别 盘古分词中的算法 预处理 消除歧义 总结 基于词典的实体识别 jcseg中文姓名识别算法 总结 HENU汉语分词系统中的中文人名识别算法 同姓异名对的冲突处理 局部回溯分词 基于支持向量机的中国人名的自动识别 基于可信度模型的中文人名识别研究 命名实体识别 命名实体识别是自然语言处理中的一项基础性工作，需要把.
探秘MynLP：新一代自然语言处理库的崛起
gitblog_00050的博客
04-14 524
探秘MynLP：新一代自然语言处理库的崛起 是一个由Mayabot团队开发的现代自然语言处理（NLP）工具包，旨在提供高效、易用且功能丰富的NLP解决方案。作为一个开源项目，MynLP以其深度学习为基础，对各类NLP任务提供了全面的支持，无论你是数据科学家、软件工程师还是机器学习爱好者，它都能成为你的得力助手。 技术剖析 MynLP的核心是基于TensorFlow构建的，这使得它能够利用强大的GP...
Java下的中文分词方案
AsterCass的博客
08-25 501
在博客网站构建的时候我们需要针对文章做检索，由于在检索的时候不可能检索所有文章的所有内容，所以我们采用关键词的检索，而且我们也需要将关键词放在网站的meta当中，提高网站在收索引擎中的权值。那么我们需要从文章中提取关键词的方案，首先想到的就是中文分词由于我们查找的关键词不是一般词语，而是相对来说比较偏技术的词语，而正常的可以生成词云的单词反而不是我们需要的对象，而这类技术词库要么自己训练，要么找现有的词库。训练的话目前没有那个时间和精力，找现有词库的话，目前中文的互联网技术词库也没有找到比较合适完善的。
NLP算法-命名实体识别
Albert_weiku的博客
10-25 8522
与自动分词、词性标注一样，命名实体识别也是自然语言处理的一个基础任务，是信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理技术必不可少的组成部分。其目的是识别语料中人名、地名、组织机构名等命名实体。由于这些命名实体数量不断增加，通常不可能在词典中穷尽列出，且其构成方法具有各自的规律性，因此，通常把对这些词的识别在词汇形态处理（如汉语切分）任务中独立处理，称为命名实体识别（ Named Entities Recognition，NER ）
织梦中文分词系统1.0：复合算法与歧义识别
通过采用最小切分法和逆向最大匹配法相结合的复合分词算法，并对歧义识别进行初步研究，该系统有望在未来的自然语言处理和中文信息检索等领域发挥重要作用。随着研究的不断深入和技术的进步，分词系统的性能也将持续...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值