零基础入门--中文实体关系抽取（BiLSTM+attention，含代码）

最新推荐文章于 2025-06-25 13:19:18 发布
最新推荐文章于 2025-06-25 13:19:18 发布
阅读量4.7w 收藏 274
点赞数 35
CC 4.0 BY-SA版权
分类专栏： 知识图谱 文章标签： 关系抽取 中文 BiLSTM+attention 知识图谱
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/buppt/article/details/82961979
本文介绍使用BiLSTM+attention模型进行中文实体关系抽取的入门教程，包括数据处理、训练过程及准确度评估。提供代码资源，适用于零基础学习者。

前面写过一片实体抽取的入门，实体关系抽取就是在实体抽取的基础上，找出两个实体之间的关系。

本文使用的是BiLSTM+attention模型，代码在这里，不定期对代码进行修改添加优化。

数据处理

其实数据处理的方法有很多，我用的是近两年英文论文使用的比较多的词向量+位置向量的方法。

中文实体关系抽取的数据实在是太难找了，我现在只有忘记在哪里找到的一个人物关系数据集。希望同学们能分享一些其他的数据集。

先看原始数据（其实原始数据里好多句子我都看不出来其中人物实体的关系）：

霍启山 霍启刚 兄弟姐妹 两位弟弟：霍震霆与朱玲玲育有三子，大公子霍启山、二公子霍启刚、三公子霍启仁

先是两个实体，然后是两个实体之间的关系，最后是两个实体所在的句子，都用空格分开。

所以数据处理先将这4部分分开。

先将句子转换成词向量，或者叫字向量。具体方法是建立word2id词典，把每个字都转换成id。

然后记录句子中每个字距离两个实体的距离。比如前面的例子，霍启山是第一个实体，这里假设实体后面为正，汉字和标点符号都计算在内，句子开始“两”和实体一的距离是-20，“位”和实体一的距离是-19。。。最后一个字“仁”和实体一的距离为16。

每个字距离实体二的距离同上。

这样每个字都有了一个字向量和两个距离向量，将这三个向量结合起来，就可以作为模型的输入了。

模型的输出就是人物关系的id，这个数据集里一共有11+1个人物关系。

unknown 0
父母 1
夫妻 2
师生 3
兄弟姐妹 4
合作 5
情侣 6
祖孙 7
好友 8
亲戚 9
同门 10
上下级 11

训练<

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习实战27-Pytorch框架+BERT实现中文文本的关系抽取
微学AI的博客
05-02 2786
大家好，我是微学AI，今天给大家介绍一下深度学习实战27-Pytorch框架+BERT实现中文文本的关系抽取，关系抽取任务是一项重要的任务，其核心是从一段自然语言文本中抽取实体之间具有的关系。随着深度学习的发展，很多预训练模型在关系抽取任务上取得了显著的成果，其中BERT模型是其中的佼佼者。本文将基于Pytorch框架下的BERT模型，介绍如何实现中文关系抽取任务。
中文实体、关系抽取工具
weixin_40485502的博客
02-21 1816
文章目录1.Information Extraction 信息提取工具这个是model2. CoreNLP3.AllenNLP 1.Information Extraction 信息提取工具 MITIE (C++) library and tools for information extraction 安装、colab 小数据集好，训练时间长 code Duckling (Haskell) Language, engine, and tooling for expressing, testing, a
中文实体关系抽取数据集 Chinese-Literature-NER-RE-Dataset
10-05
基于几个可用的NER和RE数据集定义了7个实体标签和9个关系标签。实体(Entity)：每个实体都由带有多个属性的T标签标识。关系(Relation):每个关系由R标签标识，该标签可以具有多个属性。
开放领域关系抽取：BERT4Keras实战项目源码与部署指南
最新发布
weixin_36073714的博客
06-25 663
关系抽取（Relation Extraction, RE），是自然语言处理（NLP）中的一个核心任务，它的目的是从非结构化的文本中识别出实体之间的语义关系。简单地说，给定一句话，关系抽取能告诉我们句子中的实体是如何相互关联的。例如，在句子”苹果公司创立于1976年”中，关系抽取能帮助我们识别出”苹果公司”和”1976年”之间的”创立于”关系。
中文医学文本实体关系抽取.zip
01-18
中文医学文本实体关系抽取
中文实体关系抽取实践
热门推荐
爱吃火锅的博客
07-17 2万+
前言 本篇博客主要讲NLP中的关系抽取，聚焦点中文，没有过多理论，侧重实践（监督学习）。 关于实体关系抽取的技术发展脉络，感兴趣的可以看一下： https://www.cnblogs.com/theodoric008/p/7874373.html 关系抽取有限定关系抽取和开放关系抽取，这里主要说限定关系抽取即分类问题 其过程常常又有监督学习和半监督学习，这里主要讲利用深度学习进行的监督学...
中文关系抽取总结
weixin_43732535的博客
01-08 1315
中文关系抽取
(待整理)从RNN到LSTM到GRU---crf---bilstm+crf如何命名实体识别的流程
夏普通
03-25 2627
RNN&LSTM 简介 https://blog.youkuaiyun.com/mzpmzk/article/details/80548927 交叉熵 一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉 https://blog.youkuaiyun.com/tsyccnh/article/details/79163834 交叉熵是谁最早提出和应用的？ http://blog.sciencenet.cn/...
【BERT+BILSTM+CRF：打造中文NLP巨兽】零基础入门与实战演练
本文首先概述了BERT+BILSTM+CRF模型的结构和应用，随后深入探讨了中文NLP的基础知识，包括其历史发展、特点以及深度学习在NLP中的应用。进一步，本文详细解释了BILSTM和CRF的理论基础及其在序列标注中的作用，同时...
【模型融合】：不止于强强联合，Bert+BiLSTM+Attention+TextCNN的创新融合之路
[【模型融合】：不止于强强联合，Bert+BiLSTM+Attention+TextCNN的创新融合之路](https://drek4537l1klr.cloudfront.net/ferlitsch/v-2/Figures/07_02.png) # 1. 模型融合的基本概念与重要性 模型融合是将多个模型...
NLP合集:教程/实体抽取/关系(三元组)抽取/文本分类/知识图谱/Bert系列/相似度判定/机器人问答/文本工具/竞赛方案精选/面试指南/NLP各类任务数据集等集合
qq_42189083的博客
12-24 5531
Cool-NLPCV （持续更新中…） Some Cool NLP and CV Repositories and Solutions Cool-NLP | Cool-CV 旨在收集NLP中常见任务的开源解决方案、数据集、工具、学习资料等，方便学习或快速查找。在此分享出来，供大家参考。欢迎积极分享并Star，谢谢! 会持续不定时更新，也欢迎加入共同分享。 1、机器学习&深度学习入门精选 Python-100天从新手到大师 斯坦福大学2014（吴恩达）机器学习教程中文笔记 《统计学习方法》第二版的代
ChineseNRE:中文实体关系抽取，pytorch，bilstm+attention
05-10
ChineseNRE 本项目使用 python 2.7 pytorch 0.4.0 中文实体关系抽取，对实体关系抽取不了解的可以先看。顺便求star～ 数据 中文实体关系抽取数据实在太难找了，data中是忘记在哪里找的人物关系数据集，一共11+1种关系，数据质量不太好，但也找不到其他的了。 （更新）中 ybNero 同学分享了一份数据集，大家可以去issues中查看~ 梅葆玥 梅兰芳 父母 坎坷经历梅葆玥之家庭合影1961年，梅兰芳先生病逝，葆玥、葆玖姐弟俩继承父亲的遗志，挑起了梅剧团的重担 数据格式为: 实体1 实体2 关系 句子。 虽然叫中文实体关系抽取，还是增加了一个英文数据集SemEval2010_task8，简单做了下数据处理，这是免费的公开数据集，其他的好像都要dollar了。。 训练 模型使用的是lstm+attention模型。特征使用词向量+位置向量。 训练前先运行dat
实体关系抽取
08-08
实体关系抽取
无指导的开放式中文实体关系抽取
07-06
无指导的开放式中文实体关系抽取，对构建知识图谱中的三元组抽取有一定的参考作用
基于BiGRU模型的中文关系抽取算法代码
05-28
此代码主要是基于深度学习的中文关系抽取模型，希望帮助大家
基于依存句法分析的开放式中文实体关系抽取
Guanngxu的博客
04-26 2万+
实体关系提取
opennre 中文关系抽取_基于bert的中文实体关系识别（实体关系抽取）项目开源
weixin_39777488的博客
11-27 2046
在清华大学开源的OpenNRE项目基础上实现中文实体关系识别github项目地址，点我一、中文关系抽取使用哈工大，BERT-wwm，中文bert，在20w中文人物关系数据上的准确率达到0.97实现过程实现过程十分简单，如下：1）token阶段：将文本根据两个实体位置分割成五个小片； 2）index阶段：文本开头使用[CLS]，结尾使用[SEP]，中间的分割使用[unused1-4]； 3）padd...
开源中文关系抽取框架，来自浙大知识引擎实验室
datayx的文章
09-22 2434
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayxDeepKEDeepKE 是基于 Pytorch 的深度学习中文关系抽取处理套件。环...
中文句子关系抽取
qq_20182781的博客
07-23 487
关系抽取是指从非结构化文本中抽取语义关系的一项基本任务。提取出来的关系通常发生在两个或多个特定类型的实体之间(例如，人、组织、地点等)， 比如在人际之间的关系有同门、朋友、夫妻、同事、父母、上下级等。
关系抽取BiLSTM+Attention
01-02
### 使用BiLSTM与Attention机制进行关系抽取 #### 构建模型架构 为了有效提取实体间的关系，可以构建基于BiLSTM和Attention机制的神经网络模型。该方法利用了双向长短期记忆网络（BiLSTM），其能捕捉序列数据中的前后向依赖关系，并通过引入注意力机制来增强对重要特征的关注度[^1]。 ```python from tensorflow.keras.models import Model from tensorflow.keras.layers import Input, LSTM, Bidirectional, Dense, Dropout, Attention, Concatenate def build_bilstm_attention_model(max_len, embedding_dim, vocab_size): inputs = Input(shape=(max_len,)) # Embedding layer to convert words into dense vectors of fixed size embed_layer = tf.keras.layers.Embedding(input_dim=vocab_size, output_dim=embedding_dim)(inputs) # Bi-directional LSTM Layer captures context from both directions bilstm_output = Bidirectional(LSTM(units=hidden_units, return_sequences=True))(embed_layer) # Apply dropout regularization drop_out = Dropout(rate=dropout_rate)(bilstm_output) # Define attention mechanism over the sequence outputs attenction_weights = Attention()([drop_out]*2) # Simplified representation # Combine attended features with original ones via concatenation or addition etc. combined_features = Concatenate(axis=-1)([attenction_weights, drop_out]) # Fully connected layers followed by softmax activation function for classification task dense_1 = Dense(dense_units, activation='relu')(combined_features) predictions = Dense(num_classes, activation='softmax')(dense_1) model = Model(inputs=[inputs], outputs=predictions) return model ``` 此代码片段展示了如何定义一个包含嵌入层、双向循环单元以及注意模块在内的完整框架结构。值得注意的是，在实际应用过程中还需要考虑更多细节设置，比如超参数调整、损失函数选择等方面的内容[^3]。 #### 数据准备与预处理 在训练之前，需先准备好输入给定模型的数据集并完成必要的转换操作。这通常涉及到词典映射、填充至固定长度等步骤以确保每条样本都具有相同的形状规格以便于批量计算。此外，还需指定合适的批次大小(batch size)，学习率(learning rate)等相关配置项[^4]。 ```python import numpy as np from sklearn.model_selection import train_test_split from keras.preprocessing.sequence import pad_sequences from keras.utils.np_utils import to_categorical # Assume `sentences` is a list containing tokenized sentences and labels are one-hot encoded arrays. X_train, X_val, y_train, y_val = train_test_split(sentences, labels, test_size=0.2, random_state=42) word_index = tokenizer.word_index vocab_size = len(word_index)+1 train_seq = [[word_index.get(w, 0) for w in s.split()]for s in X_train] val_seq = [[word_index.get(w, 0) for w in s.split()]for s in X_val] pad_train = pad_sequences(train_seq,maxlen=max_length,padding="post",truncating="post") pad_val = pad_sequences(val_seq,maxlen=max_length,padding="post",truncating="post") y_train_cat = to_categorical(y_train,num_classes=num_class) y_val_cat = to_categorical(y_val,num_classes=num_class) ``` 上述脚本说明了怎样分割原始语料库为训练集和验证集合；接着创建词汇表并将词语转化为索引形式表示；最后按照设定的最大句子长度补齐或截断各实例，并将其标签编码为目标分类格式。
评论 75
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值