[Python人工智能] 四十一.命名实体识别 (2)基于BiGRU-CRF的中文实体识别万字详解

最新推荐文章于 2024-07-16 08:47:32 发布
原创 最新推荐文章于 2024-07-16 08:47:32 发布 · 887 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #人工智能 #实体识别 #BiGRU-CRF #Keras

本文介绍了基于BiGRU-CRF的中文命名实体识别，包括数据预处理、模型构建和训练，以及在威胁情报实体识别中的应用。作者详细讲解了从ATT&CK数据采集到构建BiGRU-CRF模型的过程，提供了相关工具和库的安装指南，如keras-contrib和Keras。

从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前文讲解如何实现威胁情报实体识别，利用BiLSTM-CRF算法实现对ATT&CK相关的技战术实体进行提取，是安全知识图谱构建的重要支撑。这篇文章将以中文语料为主，介绍中文命名实体识别研究，并构建BiGRU-CRF模型实现。基础性文章，希望对您有帮助，如果存在错误或不足之处，还请海涵。且看且珍惜！

由于上一篇文章详细讲解ATT&CK威胁情报采集、预处理、BiLSTM-CRF实体识别内容，这篇文章不再详细介绍，本文将在上一篇文章基础上补充：

  • 中文命名实体识别如何实现，以字符为主
  • 以中文CSV文件为语料，介绍其处理过程，中文威胁情报类似
  • 构建BiGRU-CRF模型实现中文实体识别

版本信息：

  • keras-contrib V2.0.8
  • keras V2.3.1
  • tensorflow V2.2.0

常见框架如下图所示：

在这里插入图片描述

在这里插入图片描述

文章目录

本专栏主要结合作者之前的博客、AI经验和相关视频及论文介绍，后面随着深入会讲解更多的Python人工智能案例及应用。基础性文章，希望对您有所帮助，如果文章中存在错误或不足之处，还请海涵！作者作为人工智能的菜鸟，希望大家能与我在这一笔一划的博客中成长起来。写了这么多年博客，尝试第一个付费专栏，为小宝赚点奶粉钱，但更多博客尤其基础性文章，还是会继续免费分享，该专栏也会用心撰写，望对得起读者。如果有问题随时私聊我，只望您能从这个系列中学到知识，一起加油喔~

前文赏析：

了解本专栏 订阅专栏 解锁全文
[Python人工智能] 四十二.命名实体识别 (3)基于Bert+BiLSTM-CRF的中文实体识别万字详解（异常解决中）
杨秀璋的专栏
03-05 1706
从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前文讲解如何实现中文命名实体识别研究，构建BiGRU-CRF模型实现。这篇文章将继续以中文语料为主，介绍融合Bert的实体识别研究，使用bert4keras和kears包来构建Bert+BiLSTM-CRF模型。然而，该代码最终结果有些问题，目前还在解决中，但现阶段方法先作为在线笔记分享出来。基础性文章，希望对您有帮助，如果存在错误或不足之处，还请海涵。且看且珍惜！
[Python人工智能] 四十四.命名实体识别 (5)利用bert4keras构建Bert-CRF实体识别模型（实体位置）
杨秀璋的专栏
03-21 726
这篇文章将继续以中文语料为主，介绍融合Bert的实体识别研究，使用bert4keras和kears包来构建Bert+BiLSTM-CRF模型。然而，该代码最终结果有些问题，目前还在解决中，但现阶段方法先作为在线笔记分享出来。基础性文章，希望对您有帮助，如果存在错误或不足之处，还请海涵。且看且珍惜！
BilSTM 实体识别_NLP实战-中文命名实体识别
weixin_39699163的博客
11-22 1371
前言：本文章将通过pytorch作为主要工具实现不同的模型（包括HMM，CRF，Bi-LSTM，Bi-LSTM+CRF）来解决中文命名实体识别问题，文章不会涉及过多的数学推导，但会从直观上简单解释模型的原理，主要的内容会集中在代码部分。本文的目录结构如下：概览任务描述首先，我们明确一下命名实体识别的概念：命名实体识别（英语：Named Entity Recognition），简称NER，是指识别文...
python的中文命名实体识别
最新发布
chengxuyuanlaow的博客
07-16 1734
NER（中文实体命名识别）关键字: 中文命名实体识别 NER BILSTM CRF IDCNN BERT摘要：对中文命名实体识别一直处于知道却未曾真正实践过的状态，此次主要是想了解和实践一些主流的中文命名实体识别的神经网络算法。通过对网上博客的阅读了解，中文命名实体识别比较主流的方法是BILSTM+CRF、IDCNN+CRF、BERT+BILSTM+CRF这几种神经网络算法，这个demo也用Keras实现了这几个算法，并且采用几个比较通用的数据集进行训练测试。
中文实体识别（采用BERT）
Resurrected_Eagle的博客
09-06 427
中文实体识别（采用BERT） 数据预处理 构建标签字典 保存为pkl文件方便读取。 读取数据 字对应标签list序列 序列截断操作，不超过最大长度，否则就截断。 处理为BERT对应的字符 将字符转为id索引 长度不够，需要填充0（在bert中，填充的0不会计算self-attention，需要用到mask） 输入到BERT模型中 （见BERT学习笔记）得到输出结果为[batch_size,leng,dim] 对输出向量进行标签预测 W维度[dim,标签类别]、b偏差值[11] 经过全连接层非线性函数
中文名实体识别
囡囡的博客
12-07 695
命名实体识别的两种方法https://blog.csdn.net/babydx/article/details/77836810 中文命名实体识别总结（简书）https://www.jianshu.com/p/34a5c6b9bb3e 命名实体：中文命名实体识别简介https://blog.csdn.net/sinat_33741547/article/details/79126446 中...
中文命名实体识别
09-18
主要是用来处理中文的命名实体识别，主要是用tensorflow
[Python人工智能] 四十五.命名实体识别 (6)利用keras构建CNN-BiLSTM-ATT-CRF实体识别模型（注意力问题探讨）
杨秀璋的专栏
03-29 794
从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前文讲解融合Bert的实体识别研究，使用bert4keras和kears包来构建Bert+BiLSTM-CRF模型。这篇文章将详细结合如何利用keras和tensorflow构建基于注意力机制的CNN-BiLSTM-ATT-CRF模型，并实现中文实体识别研究，同时对注意力机制构建常见错误进行探讨。基础性文章，希望对您有帮助，如果存在错误或不足之处，还请海涵。且看且珍惜！
[Python人工智能] 四十三.命名实体识别 (4)利用bert4keras构建Bert+BiLSTM-CRF实体识别模型（异常解决中）
杨秀璋的专栏
03-19 797
从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前文讲解如何实现中文命名实体识别研究，构建BiGRU-CRF模型实现。这篇文章将继续以中文语料为主，介绍融合Bert的实体识别研究，使用bert4keras和kears包来构建Bert+BiLSTM-CRF模型。然而，该代码最终结果有些问题，目前还在解决中，但现阶段方法先作为在线笔记分享出来。基础性文章，希望对您有帮助，如果存在错误或不足之处，还请海涵。且看且珍惜！
中文命名实体识别语料（MSRA+人民日报+Boson）
11-11
适合作为命名实体识别的补充预料，包括微软亚研院MSRA：46365条语料、人民日报：23061条语料和Boson:2000条语料。都是标注过的，非常实用，适合新手作为刚开始的模型练习。
基于双向门控循环单元(BiGRU)的多变量回归预测(Matlab完整源码和数据）
05-16
Matlab基于双向门控循环单元(BiGRU)的多变量回归预测，BiGRU回归预测，多输入单输出模型 多元回归预测 | Matlab基于双向门控循环单元(BiGRU)的多变量回归预测，BiGRU回归预测，多输入单输出模型，多输入单输出模型。 评价指标包括:MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。要求2020版本及以上。
中文命名实体识别：基于PyTorch的多模型中文命名实体识别
热门推荐
zp563987805的博客
02-29 1万+
命名实体识别作为序列标注类的典型任务，其使用场景特别广泛。本项目基于PyTorch搭建HMM、CRF、BiLSTM、BiLSTM+CRF及BERT模型，实现中文命名识别任务，部分内容参考了https://zhuanlan.zhihu.com/p/61227299，全部代码链接上可找。 数据集 数据集来源于ACL 2018Chinese NER using Lattice LSTM论文中从新浪财经收...
用飞桨做命名实体识别，手把手教你实现经典模型 BiGRU + CRF
PaddlePaddle
09-21 2984
命名实体识别（Named Entity Recognition，NER）是 NLP 几个经典任务之一，通俗易懂的来说，就是从一段文本中抽取出需求的关键词，如地名，人名等。...
中文 NLP（9） -- 实体识别
ouprince
12-04 4558
（1）实体识别 识别 人名，地名，组织机构，日期，时间，百分数，货币这七大实体。重点是人名，地名和组织机构的识别。属于未登录词识别的范畴。 人名特征：当今仍使用，活跃的中文姓氏大致有1000 多个，前 586 个姓占了 98.5%。其余姓氏不到 1.5%。名字用字分布较姓氏用字分布要平缓，分散。共 3679 个名字用字，词性分布也很广泛，不仅有实词，还有各类虚词。 地名特征：较之人名相比，地...
NLP实战-中文命名实体识别
MaggicalQ的博客
04-02 1万+
前言： 本项目将通过pytorch作为主要工具实现不同的模型（包括HMM，CRF，Bi-LSTM，Bi-LSTM+CRF）来解决中文命名实体识别问题，文章不会涉及过多的数学推导，但会从直观上简单解释模型的原理，主要 的内容会集中在代码部分。 本文的目录结构如下： 文章目录概览任务描述数据集运行结果统计学习的方法条件随机场（Conditional Random Field, CRF)深度学习的方法...
中文命名实体识别综述
weixin_70923796的博客
12-24 979
中文命名实体识别（NER）任务是信息抽取领域内的一个子任务,其任务目标是给定一段非结构文本后,从句子中寻找、识别和分类相关实体,例如人名、地名和机构名称。全面回顾了现有的基于神经网络的单词-字符晶格结构的中文NER模型。由于单词序列信息可以给基于字符的序列学习更多边界信息,为了显式地利用每个字符所相关的词汇信息,过去的这些工作提出通过词-字符晶格结构将单词信息整合到字符序列中。这些在中文NER任务上基于神经网络的单词-字符晶格结构的性能要明显优于基于单词或基于字符的方法。从而胜过基于单词的方法。
命名实体识别：利用Python完成中文实体识别
2301_78484069的博客
06-04 1396
其中，train.txt和dev.txt用于训练和验证模型，test.txt用于测试模型的性能，tag.dict则是标签与ID之间的映射关系。命名实体识别（Named Entity Recognition，简称NER）是自然语言处理中的一项重要任务，它的主要目的是从文本中识别出具有特定意义的实体，例如人名、地名、组织机构名称等。这里我们采用Adam优化器进行训练，并在验证集上进行调参，以获得最佳的模型性能。接下来，我们可以开始构建模型了。最后，我们可以使用测试集对训练好的模型进行测试，评估模型的预测效果。
基于bert的中文实体识别
mohen_777的博客
06-30 1394
BERT是由Google提出的一种预训练语言模型，其核心思想是通过大规模无监督学习从文本数据中学习通用的语言表示。BERT的预训练过程包括两个阶段：Masked Language Model（MLM）和Next Sentence Prediction（NSP），通过这些任务学习句子中各个位置的语境化表示。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Eastmount

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值