零基础入门--中文命名实体识别（BiLSTM+CRF模型，含代码）

已于 2022-02-17 15:01:16 修改
阅读量4.6w 收藏 269
点赞数 45
分类专栏： 知识图谱 文章标签： 命名实体识别 NER 知识图谱 BiLSTM+CRF 中文
于 2020-03-15 09:55:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/buppt/article/details/81180361
版权
本文是初学者对命名实体识别的总结，介绍从中文分词到BiLSTM+CRF模型的实现过程。通过数据处理，将文本转化为BMEO标注形式，利用pytorch实现Bilstm+crf模型进行训练，并提供了测试与文件级别实体抽取的方法。同时，文章提及了准确度评估指标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

自己也是一个初学者，主要是总结一下最近的学习，大佬见笑。

中文分词

说到命名实体抽取，先要了解一下基于字标注的中文分词。
比如一句话

"我爱北京天安门”。

分词的结果可以是

“我/爱/北京/天安门”。

那什么是基于字标注呢？

“我/O 爱/O 北/B 京/E 天/B 安/M 门/E”。

就是这样，给每个字都进行一个标注。我们可以发现这句话中字的标注一共有四种。他们分别代表的意义如下。

B | 词首
M | 词中
E | 词尾
O | 单字

B表示一个词的开始，E表示一个词的结尾，M表示词中间的字。如果这个词只有一个字的话，用O表示。

命名实体识别

数据处理

了解了中文分词，那么实体识别也差不多。就是把不属于实体的字用O标注，把实体用BME规则标注，最后按照BME规则把实体提取出来就ok了。

数据可以自己标注，也可以找个公开的数据集先练练手。我是用的是玻森数据提供的命名实体识别数据，https://bosonnlp.com 这是官网，在数据下载里面有一个命名实体识别数据集，或者在我的github里下载。

这个数据集一个包含了6个实体类别：

time: 时间

最低0.47元/天 解锁文章
LLM在命名实体识别中的优化策略
AI天才研究院
12-03 681
LLAMA在命名实体识别中的优化策略 关键词：语言模型（LLM），命名实体识别（NER），优化策略，数据增强，模型调整，多标签实体识别，案例研究，未来趋势 摘要：本文将深入探讨LLM在命名实体识别（NER）中的应用与优化策略。首先，我
中文命名实体识别
young的博客
12-20 2231
命名实体识别（Named Entity Recognition） 命名实体识别是NLP里一项很基础的任务，就是从文本中识别出命名性指称项，为关系抽取等任务做铺垫。狭义上，是识别出人名、地名和组织机构名这三类命名实体（时间、货币名称等构成规律明显的实体类型可以用正则等方式识别）。当然，在特定领域中，会相应地定义领域内的各种实体类型。 中文命名实体识别的难点： 1.中文文本不像英文有空格...
用BiLSTM+CRF实现中文命名实体识别（TensorFlow入门）【代码】
11-29
国科大自然语言处理第三次作业
BilSTM 实体识别_NLP实战-中文命名实体识别
weixin_39699163的博客
11-22 1279
前言：本文章将通过pytorch作为主要工具实现不同的模型（包括HMM，CRF，Bi-LSTM，Bi-LSTM+CRF）来解决中文命名实体识别问题，文章不会涉及过多的数学推导，但会从直观上简单解释模型的原理，主要的内容会集中在代码部分。本文的目录结构如下：概览任务描述首先，我们明确一下命名实体识别的概念：命名实体识别（英语：Named Entity Recognition），简称NER，是指识别文...
命名实体识别
最新发布
2403_87204666的博客
02-07 278
命名实体识别的技术方法包括基于规则的方法、统计机器学习方法（如条件随机场CRF）、以及深度学习方法（如循环神经网络RNN、长短期记忆网络LSTM、Transformer模型等）。随着深度学习技术的发展，特别是预训练语言模型（如BERT、GPT等）的出现，命名实体识别的准确率有了显著提升。命名实体识别（Named Entity Recognition，简称NER）是从文本中识别出具有特定意义的实体，并将这些实体分类到预定义的类别中，如人名、地名、组织名、日期、时间、百分比等。
python的中文命名实体识别
chengxuyuanlaow的博客
07-16 1437
NER（中文实体命名识别）关键字: 中文命名实体识别 NER BILSTM CRF IDCNN BERT摘要：对中文命名实体识别一直处于知道却未曾真正实践过的状态，此次主要是想了解和实践一些主流的中文命名实体识别的神经网络算法。通过对网上博客的阅读了解，中文命名实体识别比较主流的方法是BILSTM+CRF、IDCNN+CRF、BERT+BILSTM+CRF这几种神经网络算法，这个demo也用Keras实现了这几个算法，并且采用几个比较通用的数据集进行训练测试。
中文命名实体识别：基于PyTorch的多模型中文命名实体识别
zp563987805的博客
02-29 1万+
命名实体识别作为序列标注类的典型任务，其使用场景特别广泛。本项目基于PyTorch搭建HMM、CRF、BiLSTM、BiLSTM+CRF及BERT模型，实现中文命名识别任务，部分内容参考了https://zhuanlan.zhihu.com/p/61227299，全部代码链接上可找。 数据集 数据集来源于ACL 2018Chinese NER using Lattice LSTM论文中从新浪财经收...
(待整理)从RNN到LSTM到GRU---crf---bilstm+crf如何命名实体识别的流程
夏普通
03-25 2551
RNN&LSTM 简介 https://blog.youkuaiyun.com/mzpmzk/article/details/80548927 交叉熵 一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉 https://blog.youkuaiyun.com/tsyccnh/article/details/79163834 交叉熵是谁最早提出和应用的？ http://blog.sciencenet.cn/...
NLP入门指南：从基础到BERT模型详解
3. **命名实体识别**：专门探讨了实体识别技术，包括基于规则、词典的方法，统计机器学习（如条件随机场CRF）和深度学习（如BiLSTM-CRF模型）的应用。BiLSTM-CRF模型中，LSTM用于捕捉上下文信息，CRF用于序列标注，...
MSRA-NER 中文命名实体识别
04-09
MSRA-NER (SIGHAN2006) 数据集由微软亚研院发布，其目标是识别文本中具有特定意义的实体，包括人名、地名、机构名。
中文命名实体识别语料
11-26
BIO标注集，即B-PER、I-PER代表人名首字、人名非首字，B-LOC、I-LOC代表地名首字、地名非首字，B-ORG、I-ORG代表组织机构名首字、组织机构名非首字，O代表该字不属于命名实体的一部分。
命名实体识别代码阅读
dfhg54的博客
02-21 2001
【python】——Python中的*和**的作用和含义_Kadima°的博客-优快云博客_python * **理解‘*‘,‘*args‘,‘**‘,‘**kwargs‘_callinglove的博客-优快云博客#定义下游模型self.tuneing = False #fineturn预设为0self.pretrained = None #默认情况下，预训练模型不属于下游任务的一部分#下游任务if self.tuneing: #如果tuning,则认为自己的预训练模型也要训练。
NLP之中文命名实体识别
热门推荐
miner_zhu的博客
09-25 5万+
在MUC-6中首次使用了命名实体（named entity）这一术语，由于当时关注的焦点是信息抽取（information extraction）问题，即从报章等非结构化文本中抽取关于公司活动和国防相关活动的结构化信息，而人名、地名、组织机构名、时间和数字表达（包括时间、日期、货币量和百分数等）是结构化信息的关键内容。 命名实体识别(Named EntitiesRecognition，NER)，...
BERT实战：中文命名实体识别
rip -- shun
11-29 3696
使用bert实现的一个NER10标签任务 github：nlp-code/bert命名实体识别.ipynb at main · cshmzin/nlp-code (github.com)bert介绍博客：Simple to Bert | Ripshun Blog数据集来源：CLUE官网（细粒度NER任务） 获取数据： # 获取数据 import json train_data = [] dev_data = [] test_data = [] for line in open(.
用深度学习做命名实体识别(附代码)
weixin_34342578的博客
07-20 411
基于CRF做命名实体识别系列 用CRF做命名实体识别(一) 用CRF做命名实体识别(二) 用CRF做命名实体识别(三) 摘要 1. 之前用CRF做了命名实体识别，效果还可以，最高达到0.9293，当然这是自己用sklearn写的计算F1值，后来用conlleval.pl对CRF测试结果进行评价，得到的F1值是0.9362。 2. 接下来基于BILSTM-CRF做命名实体识别，代码不是自己写的，用的...
探索BiLSTM-CRF模型在命名实体识别中的应用
BiLSTM-CRF（双向长短期记忆网络-条件随机场模型）是一种用于序列标注任务的深度学习模型，特别是在命名实体识别（Named Entity Recognition，NER）领域表现突出。它结合了BiLSTM（Bidirectional Long Short-Term ...
评论 56
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值