【论文笔记】Heterogeneous Graph Neural Networks for Extractive Document Summarization

最新推荐文章于 2022-11-22 13:54:12 发布
原创 最新推荐文章于 2022-11-22 13:54:12 发布 · 859 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #nlp #深度学习 #机器学习

本文探讨了如何使用异质图神经网络（Heterogeneous Graph Neural Networks）来建模句子间的联系，应用于抽取式文档摘要。通过GAT进行节点间消息传递，并在不使用预训练语言模型的情况下，实验结果显示该方法优于其他对比模型。实施过程中，利用GloVe初始化词嵌入，句嵌入则结合CNN和BiLSTM得到，边的权重基于TF-IDF。最终，通过概率排序和Trigram Blocking策略选择摘要句子。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

文章使用异质图建模句子之间的关系，并将其用于抽取式摘要，取得了优于所有对比模型的效果（本文模型和对比模型均没有使用预训练语言模型，如BERT）。

  • 图的结构
    • 图中包含两类节点：词节点和句节点
    • 句节点与其中包含的词的节点相连接
    • 只有词节点和句节点之间的连接，同类节点之间不会连接
    • 是一个二分图（Bipartite Graph）
  • 节点初始化
    • 词节点
      • 300维的Embedding
      • Vocabulary大小为50000
      • 使用GloVe初始化Embedding
      • 删去停用词和标点符号
      • 删去10%的在整个数据集上具有低TF-IDF的词语
    • 句节点
      • 128维向量
      • 对句子先经过（从小到大不同kernel size的）CNN，再经过BiLSTM，最后连接CNN和BiLSTM的输出作为句节点向量
    • 边
      • 50维Embedding
      • TF-IDF经L2归一化后乘9（box = 10）round到最近整数，即变换成0-9之一作为embedding index

G A T ( H Q , H K , H V ) : GAT(H_Q, H_K, H_V): GAT(HQ​,HK​,HV​):
Attention Score:  Z = L e a k y R e L U ( W a [ W q H Q ; W k H K ] ) Attention Distribution:  α i j = e x p ( Z i j ) ∑ l ∈ N e i b o r i e x p ( Z i l ) Attention Vector:  u i = σ ( ∑ j ∈ N e i b o r i W v V [ j ] ) \begin{aligned} \text{Attention Score: } Z &= LeakyReLU(W_a[W_q H_{Q}; W_k H_K]) \\ \text{Attention Distribution: } \alpha_{ij} &= {exp(Z_{ij}) \over \sum_{l \in Neibo

最低0.47元/天 解锁文章

200万优质内容无限畅学
每日论文《Heterogeneous Graph Neural Networks for Extractive Document Summarization》
木东的博客
06-28 554
作为提取性文档摘要中的关键步骤，学习跨句关系已通过多种方法进行了探索。 一种直观的方法是将它们放在基于图的神经网络中，该网络具有更复杂的结构以捕获句子间的关系。 在本文中，我们提出了一种用于提取摘要的基于异构图的神经网络（HETERSUMGRAPH），该网络包含除句子外的不同粒度级别的语义节点。 这些额外的节点充当句子之间的中介，并丰富了跨句关系。 此外，我们的图结构通过引入文档节点，可以灵活地从单文档设置自然扩展到多文档。 据我们所知，我们是第一个将不同类型的节点引入基于图的神经网络中以进行提取文档摘要并
《Heterogeneous Graph Neural Networks for Extractive Document Summarization》论文阅读笔记（抽取式摘要）
yanqiuxia123的博客
07-11 869
抽取式摘要的目标是从原文章中选出最为重要的若干个句子，并且将它们重组成摘要。因而，如何构建句子之间的关系，并得到更好的句子表示，就成为抽取式摘要的核心问题。这种方法天然的在语法、句法上错误率低，保证了一定的效果。该论文提出了我们提出了一种基于异构图的神经网络，用于提取摘要（HETERSUMGRAPH），其中包含句子以外的不同粒度级别的语义节点。 这些额外的节点充当句子之间的中介，并丰富了跨句关系。此外，论文图结构通过引入文档节点，从单文档扩展到多文档摘要抽取。
Heterogeneous Graph Neural Networks for Extractive Document Summarization
weixin_43747748的博客
05-22 1775
异构图神经网络用于抽取文档摘要（2020 ACL） abstract 学习跨句子之间的关系作为提取文档摘要过程中的关键步骤，已有多种方法被提出来研究该问题。一种直观的方法是将它们放在基于图的神经网络中，该网络具有更复杂的结构以捕获句子之间的关系。在本文中，我们提出了一种基于异构图的神经网络（HETERSUMGRAPH）用于提取摘要，该网络包含除句子外的不同粒度级别的语义节点。这些额外的节点充当句子之间的“中介”，并丰富了跨句关系。此外，通过引入文档节点，我们的图结构可以灵活地自然扩展，从单个文档设置到多文档
ACL2020 Heterogeneous Graph Neural Networks for Extractive Document Summarization
07-24 2142
Heterogeneous Graph Neural Networks for Extractive Document Summarization异构图神经网络提取文档摘要摘要1 引言2 相关工作3 Methodology3.1 Document as a Heterogeneous Graph3.2 Graph Initializers3.3 Heterogeneous Graph Layer3.4 Sentence Selector3.5 Multi-document Summarization4 Ex
2021-06-21ACL2020 Heterogeneous Graph Neural Networks for Extractive Document Summarization
木东的博客
06-21 529
Heterogeneous Graph Neural Networks for Extractive Document Summarization 异构图神经网络提取文档摘要 摘要 1 引言 2 相关工作 3 Methodology 3.1 Document as a Heterogeneous Graph 3.2 Graph Initializers 3.3 H...
文献收集：
sun_yi_gui的博客
11-21 816
文献收集： 文档分类： 《Team “DaDeFrNi” at CASE 2021 Task 1: Document and Sentence Classification for Protest Event Detection》【ACL】【2021】 《Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks》【ACL】【2020】 《Aspect Sentimen
EMNLP2020中事件抽取/关系抽取/NER/少样本/MRC/摘要 论文分类整理
carrie_0307的博客
10-15 4190
事件抽取 主会 A Method for Building a Commonsense Inference Dataset based on Basic Events Affective Event Classification with Discourse-enhanced Self-training Biomedical Event Extraction as Sequence Labeling Connecting the Dots: Event Graph Schema Induct
【论文解读 | ACL2020】HeterSumGraph - 用于文档摘要提取的异构图神经网络
qq_36291847的博客
04-03 1387
用于文档摘要提取的异构图神经网络 文章目录摘要1 引言2 相关工作3 方法3.1 文档作为异构图3.2 图的初始化3.3 异构图层3.4 句子选择器3.5 多文档摘要4 实验5 结果及分析6 结论 摘要     摘要跨句关系的学习是文本摘要抽取的关键步骤，目前已有大量的研究方法。一种直观的方法是将它们放入基于图形的神经网络中，该网络具有捕获句子间关系的更复杂的结构。本文提出了一种基于异质图的神经网络用于提取摘要(HETERSUMGRAPH)，该网络除了包含句子外，还包含不同粒度层次的语义
HeterSumGraph，异质图神经网络的抽取式摘要模型
hwaust2020的博客
06-27 777
文章目录建模句间关系HeterSumGraph（HSG）实验与分析引用文献 Heterogeneous Graph Neural Networks for Extractive Document Summarization (ACL 2020) 链接：http://arxiv.org/abs/2004.12393 代码：https://github.com/brxx122/HeterSUMGraph 作者：Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Q
【论文学习】Heterogeneous Graph Matching Networks for Unknown Malware Detection学习
qq_38391210的博客
07-05 892
摘要 恶意软件攻击已经开始渗透到很多的信息系统中。传统的基于签名的恶意检测算法只能检测到已知在库中的恶意软件，并且可以做诸如二进制混淆的规避攻击，但是基于行为的方法在很大程度上依赖于恶意的训练样本，并且会有很高的训练成本。为了解决现有技术的局限性，作者提出了MatchGNet，一种异质图匹配网络可以学习图表示和相似性度量。作者还提出了一种对于模型的系统性评估手段，可以以较小的FP值来检测恶意攻击。MatchGNet比现有的SOA算法都要好，在保证FN值为0的同时将FP值降低了50%。 Introductio
#Paper Reading# Neural Extractive Summarization with Side Information
John159151的专栏
05-08 1925
论文大体内容： 这篇通过增加side information（title, image caption）到单文档抽取式自动文本摘要中，使用层次式的document encoder和attention-based extractor的方法，在覆盖的信息量以及流畅性上面比没加side information的方式有了明显的提升。
【论文笔记】Heterogeneous Graph Attention Network
mirrorssssssss的博客
01-03 3336
题目：《Heterogeneous题目：《Heterogeneous题目：《Heterogeneous GraphGraphGraph AttentionAttentionAttention Network》Network》Network》 ???? 作者：Xiao作者：Xiao作者：Xiao WangWangWang 来源：WWW2019来源：WWW2019来源：WWW2019 源码：源码：源码：...
论文泛读笔记《Neural Latent Extractive Document Summarization》
落尘
02-25 1242
文章目录0 摘要1 介绍2 模型2.1 神经网络抽取式摘要模型2.2 句子压缩2.3 使用隐变量做抽取式摘要3 实验结果4 个人阅读总结 0 摘要 这应该是第一个提出把句子作为隐变量的抽取式摘要模型。 1 介绍 过去的抽取式摘要技术多是把这个看作句子序列标注二分类问题或者句子排序问题。传统方法主要有用人工特征做二分类器的方法，隐马尔可夫模型法，基于图的方法，基于ILP（线性整数规划）的方法。 后来...
An Attention-based Graph Neural Network for Heterogeneous Structural Learning
weixin_45848585的博客
02-12 2663
论文链接：https://arxiv.org/abs/1912.10832 代码链接：https://github.com/didi/hetsann Abstract 针对HIN（Heterogeneous Information Network）的表示学习，提出 HetSANN（Heterogeneous Graph Structural Attention Neural Network） 模型，不使用元路径（mate-path）直接编码HIN中的信息。通过以下两种方法表示异构信息： 将异构节点映射到低
Neural Summarization by Extracting Sentences and Words
weixin_43943642的博客
05-25 927
Neural Summarization by Extracting Sentences and Words （2016） 原文地址：https://arxiv.org/pdf/1603.07252.pdf 抽取式自动摘要系列第一篇，选择了一些我觉得挺有用的文献放在了下面，直接查找阅读 Abstract: 提出了一种基于神经网络和连续句子特征的数据驱动方法, 可以从大量的文档中提出句子和单词，在没有任何语言注释的情况下依然取得的不错的成绩。 Introduction 之前的摘要技术大多是人类设计的特征来识别
基于异质图神经网络的未知恶意程序检测
Paper weekly
10-08 3063
©PaperWeekly 原创 ·作者｜张安琪学校｜东华大学硕士生研究方向｜隐私保护、Security论文标题：Heterogeneous Graph Matching Network...
Advances in Graph Neural Networks笔记4：Heterogeneous Graph Neural Networks
诸神缄默不语的博客
11-22 1391
Advances in Graph Neural Networks笔记4：Heterogeneous Graph Neural Networks
图神经网络代码_图系列|ACL2020五篇与图神经网络GNN相关的论文汇总
weixin_39736606的博客
12-18 380
​本文回顾ACL2020与图神经网络相关的五篇论文，主要的内容涉及摘要提取，问题生成，情感分析，假新闻检测，以及法律条款的区分。希望能够给你的科研和工作带来一些帮助，如果你觉得有用，欢迎收藏与转发。以下是本文回顾的论文列表，其中多个工作相关的代码已经公开，相关研究方向的同学可以下载下来，运行一波，看看论文，代码以及自己的理解有没有什么问题。用于提取式文档摘要的异构图神经网络Heterogeneou...
Graph Neural Networks for Document Consistency Analysis
最新发布
02-27
具体到算法层面，考虑到实际应用场景下的复杂性和多样性，采用异质图神经网络（Heterogeneous GNN），如带有距离编码机制的HGNN[Heterogeneous Graph Neural Network with Distance Encoding][^1]可能是更好的选择。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值