自然语言处理-命名实体识别的预料优化

最新推荐文章于 2022-05-11 22:21:14 发布
原创 最新推荐文章于 2022-05-11 22:21:14 发布 · 825 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#命名实体 #语料

本文讲述了对https://github.com/Determined22/zh-NER-TF的命名实体识别语料进行优化，解决了人物标注仅包含姓氏的问题。通过修正约800处标注，将称谓纳入识别，显著提升了识别效果。提供修改后的语料下载链接，以回馈开源社区。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文主要是针对https://github.com/Determined22/zh-NER-TF 这个开源工程中的一个ner语料进行优化
在这里插入图片描述
非常标准的命名实体识别语料，语料的质量也是非常的高。
但是有个小问题
语料对于人物的标注，有非常多带称谓的人物只标注的姓
导致识别到非常多单字的姓效果非常差。
例如张女士、和张师傅识别结果都是张、张。
但我认为称谓也应该附带上
这边我花了两天时间，对语料中大约八百处标注进行了修改
原始语料
在这里插入图片描述在这里插入图片描述
修改之后
在这里插入图片描述
在这里插入图片描述
识别结果对比
语料修改之前的识别效果
在这里插入图片描述

修改之后的重新训练的识别结果
在这里插入图片描述
可以看到效果非常的显著

最后非常感谢大佬开源的工程，现也将语料公开
csdn下载链接

github
如果对你有用欢迎star一下

最后还是非常感谢大佬开源的项目
https://github.com/cycz/nerData/blob/master/README.md

自然语言处理（NLP）：22 BERT中文命名实体识别
艾文
06-16 5296
本文主要通过不同的数据集来进行 NER 模型验证验证，以及指定一些通过训练 NER 任务的一套标准，通过两条路线进行分析和总结。 （1）工业界场景-> 学术界 NER 论文-> BERT 实现 NER 方案以及源码分析 （2）预料数据-> 业务数据可视化分析-> 标准数据格式转换-> 模型训练-> 在线预测-> 序列标准任务优化和拓展 作者：走在前方 博客：https://wenjie.blog.youkuaiyun.com/ 专注于文本分类、关键词抽取、文本摘要、FQA .
自然语言处理之机器翻译：Phrase-Based Machine Translation(PBMT)：翻译质量评估
最新发布
zhubeibei168的博客
04-13 949
在自然语言处理领域，机器翻译的自动评估指标是评估翻译质量的重要工具，它们能够快速、大规模地对翻译结果进行量化评价。
BiLSTM+CRF基于pytorch实现命名实体识别，对pytorch官网给出的例子实现优化，附学习思路和源代码
namespace_Pt的博客
08-13 1781
学习思路 BiLSTM + CRF 本文建立在读者已有一定深度学习知识的基础上，可以看看pytorch实现验证码图片识别，基本的反向传播思想，以及机器学习的相关概念（损失函数、随机梯度下降、训练集测试集等等）。 LSTM看这一篇就够了。 接下来给出我学习CRF的思路 看这篇的Section1,2,3，了解基本的朴素贝叶斯和最大熵模型，我个人觉得这篇CRF的部分讲得不清楚 看这篇全部，了解CRF的特征向量、CRF建模的对象、对数极大似然函数以及CRF的损失函数、以及viterbi解码（decode）和迭代
基于主题策略的实体识别准确率优化
u012879957的专栏
06-04 1594
      传统的命名实体识别中，主要是基于规则和词典的方法，在实体识别过程中没有给出具体的语义信息，因此会存在一词多义和多词一义的问题，对实体的消歧就是提升实体识别准确率的关键部分。主题模型是对文档隐含的主题进行建模的方法，是语义挖掘的利器，既可以衡量文档之间的语义相似性，还可以解决多义词的问题。在主题模型中，主题是一个概念，表现为一系列相关的词，通过命名实体在不同主题下的条件概率分布来达到实体...
命名实体识别的几点心得
a8530764的博客
07-25 988
ner模型除了用词典规则之外，主要就是特征提取器+crf模型了。 特征提取可以采用onehot、词频向量、w2v、lstm、cnn、bert等其中的一种或者组合。 本人现在在做能源领域的知识图谱，对ner优化有点几点心得，分享给大家，供参考。 心得1：字向量 or 词向量 词向量会存在oov情况，需要人工维护。 字向量可能会学不出来词语的关系，采用带双向功能的特征提取器可缓解此问题，比如bilstm、bert等。 在训练数据质量较差的时候（比如口语化较多，错别字较多，简称缩写较多等），采用字向量
自然语言处理中语料处理小窍门
baidu_15113429的博客
08-01 1094
自然语义处理造文本分类语料的小技巧 1.根据句式造模板生成语料。 2.里面的词语可以根据词向量计算的相似词进行替换生成新的语料。 3.可以通过语料先训练一个模型，然后再跑新的数据，然后对新的数据进行审核，进行标记。 4.新加一个类别的时候可以使用句向量计算新的类别是否跟前面的类别冲突。 5.统计各个类别语料中字和词的卡方检验找到对类别影响大的词语，可以针对性的造语料进行平衡。 6.对每...
命名实体识别标记语料
11-22
已经标记号label的中文命名实体识别的语料库，采用BIM标志形式。包括人名（PERSON）、地点（LOCATION）、时间（TIME）及机构名（ORGANIZATION）。
NLP 自然语言处理实战
风尘浪子
03-28 1万+
本文从分词、词频、词向量等基础领域开始讲解自然语言处理的原理，讲解 One-Hot、TF-IDF、PageRank 等算法及 LDA、LDiA、LSA 等语义分析的原理。介绍 Word2vec、GloVe 、Embedding 等常用词嵌入及 NLTK、Jieba 等分词工具的应用。
入坑NLP - 自然语言处理领域概述
zzwwsun
11-17 2万+
自然语言处理研究的内容包括但不限于如下分支：文本分类、信息抽取、自动摘要、智能问答、话题推荐、机器翻译、主题词识别、知识库构建、深度文本表示、命名实体识别、文本生成、文本分析（词法、句法、语法）、语音识别与合成等。并对一些分支领域进行了详细介绍。
HanLP《自然语言处理入门》笔记--5.感知机模型与序列标注
mantch
02-09 1693
本章将深人讲解感知机算法的原理，以及在分类和序列标注上的应用。在序列标注应用部分，我们将实现基于感知机的中文分词器。由于感知机序列标注基于分类，并且分类问题更简单，所以我们先学习分类问题。
zh-NER-TF：用于中文命名实体识别的非常简单的BiLSTM-CRF模型中文命名实体识别（TensorFlow）
02-06
用于中文命名实体识别的简单BiLSTM-CRF模型 该存储库包含用于为中文命名实体识别任务构建非常简单的基于字符的BiLSTM-CRF序列标签模型的代码。 其目标是识别三种类型的命名实体：PERSON，LOCATION和ORGANIZATION。 这段代码可在Python 3和TensorFlow 1.2上运行，以下存储库给了我很多帮助。 模型 此模型类似于论文[1]和[2]提供的模型。 其结构如下图所示： 对于一个中文句子，该句子中的每个字符都有/将具有属于{O，B-PER，I-PER，B-LOC，I-LOC，B-ORG，I-ORG}集的标记。 第一层是查找层，旨在将每个字符表示从一个
处理可预料的异常处理
灵阳天下
11-02 935
 处理可预料的异常处理（try-catch-finally）Try{//添加可能会产生异常信息的代码（个人觉得数据库连接到关闭那块运用感觉很好）}Catch（）{//添加异常处理的信息的代码或throw语句将特定的异常抛出 }Finally{//添加释放占用资源的代码}如例子：try                          
实体命名识别（NER）任务中加词典
凌墨的博客
06-09 7748
导读 本文主要介绍一下，为什么需要加入词典到这个任务中，并介绍用LSTM模型来做NER任务，以及怎么模型加入词典到模型中。 一、NER任务简介 NER（Named Entity Recognition，命名实体识别）又称作专名识别，是自然语言处理中常见的一项任务，使用的范围非常广。命名实体通常指的是文本中具有特别意义或者指代性非常强的实体，通常包括人名、地名、机构名、时间、专有名词等...
命名实体识别NER-bilstm+crf
yuansaijie0604的专栏
10-17 4622
文章目录1.数据预处理1.1 整理数据，划分数据集1.2 构建字典1.3 构建标签字典2.流程2.1 网络架构图2.2 代码架构图3.运行4.部分函数详解4.1 训练阶段数据大小4.2 CRF层的输入和输出是什么样子的4.3 demo中utils.get_entity的输入和输出是什么样子的5.实验结果 学习对象： https://github.com/Determined22/zh-NER-TF...
命名实体识别的语料和代码（部分）
qq_19072921的博客
04-01 1380
1.用规则做命名实体识别 原文：用规则做命名实体识别——NER系列（一） 这篇博文就不放出代码了，因为现在基本上不用规则做命名实体识别，当然除非你在某些特定的语料有规律，就完全可以用正则表达式来做。 2.用HMM做命名实体识别 原文：用隐马尔可夫模型(HMM)做命名实体识别——NER系列（二） 代码和语料：https://github.com/lipengfei-558/hmm_ner_organization 3.用CRF做命名实体识别 原文：用CRF做命名实体识别——NER系列（
谷歌神经网络机器翻译NMT：人人可利用TensorFlow快速建立翻译模型
格物致知
01-28 6808
绪论机器翻译作为自动翻译语言之间的任务，是机器学习社区中最活跃的研究领域之一。在机器翻译的众多方法中，序列到序列（“seq2seq”）模型最近取得了巨大的成功，并已成为大多数商业翻译系统中的标准。然而，虽然seq2seq模型（如OpenNMT或tf-seq2seq）上有大量的材料，但是缺乏教学人员知识和技能的材料，可以轻松构建高质量的翻译系统。近日，TensorFlow在GitHub上宣布一个新的神
命名实体识别（NER）综述
SunnyGJing’s blog
09-13 1万+
1. NER介绍 1.1 理论 命名实体识别（NER）是自然语言处理领域的核心技术之一，它的目标是从一段非结构化文本中识别出属于特定类别的命名实体，进而支持下游任务。例如，为了接入地图搜索服务API，查询POI信息，我们从“我要去北京市北三环西路”中，识别出市辖区类“北京市”和道路类“北三环西路”这两个实体，并作为参数值传入搜索服务API（这一步骤被称为填槽），搜索完成后可获取对应的查询结果。 1.2 常见命名实体 在公开NER语料中，命名实体类别以“时间TIME、地名LOC、人名PER、机构ORG”最为常
命名实体识别的一点经验与技巧
05-11 2220
最近做了一点微小的工作，搞了下命名实体识别(named entity recongnition, NER)，这里总结一下目前的认识。内容比较杂，先亮一下目录，如图0-1。图0-1 目录一、什么是命名实体1.1 什么是实体实体(entity)指客观存在、并可相互区别的事物。实体可以是具体的人、事、物，也可以是概念。1.2 命名实体命名实体就是以名称为标识的实体。简单来说，如果我们听到一个名字，就能知道这个东西是哪一个具体的事物，那么这个事物就是命名实体。用大众的语言来说，只要有名字，就算阿猫阿狗也是一个命名实
【实体识别】深入浅出讲解命名实体识别（介绍、常用算法）
热门推荐
程序星空实验室
05-10 2万+
命名实体识别（Named Entity Recognition, 简称NER）（也称为实体识别、实体分块和实体提取）是信息提取的一个子任务，旨在将文本中的命名实体定位并分类为预先定义的类别，如人员、组织、位置、时间表达式、数量、货币值、百分比等。命名实体识别是自然语言处理中的热点研究方向之一， 目的是识别文本中的命名实体并将其归纳到相应的实体类型中。 命名实体识别是NLP中一项非常基础的任务，是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。 从自然语言处理的
基于One-hot编码的命名实体识别技术解析
在自然语言处理（NLP）领域，命名实体识别（Named Entity Recognition，简称NER）是识别文本中具有特定意义的实体，如人名、地名、组织名、时间表达等信息。命名实体识别是信息提取、问答系统、文本摘要等应用的重要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值