【论文解读】（2020-EMNLP）Adaptive Attentional Network for Few-Shot Knowledge Graph Completion

最新推荐文章于 2024-03-12 21:03:59 发布
原创 最新推荐文章于 2024-03-12 21:03:59 发布 · 1.5k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#知识图谱 #机器学习 #人工智能

这篇论文提出了一种名为FAAN的自适应注意力网络，用于解决小样本知识图谱补全问题。FAAN通过自适应邻居编码器和Transformer编码器，动态地捕捉实体和关系的多义性，使得实体和引用表示能够适应不同的任务和查询。实验结果显示，FAAN在多个基准数据集上取得了新的最优结果，证明了其在处理动态属性上的有效性。

【论文解读】（2020-EMNLP）Adaptive Attentional Network for Few-Shot Knowledge Graph Completion

摘要

最近相关研究的重点为通过学习实体的静态表示方法，而忽略他们的动态属性。

本文通过自适应注意力网络：

  1. 实体由自适应邻居编码器建模，来识别他们面向任务的角色
  2. 引用由自适应查询感知聚合器建模，来区分他们的贡献

介绍

解决小样本知识图谱补全问题发展：

（2018）GMatching提出尾实体预测的解决方法，为了改进引用的语义表示，利用局部邻居增强实体嵌入（平均贡献）

（2020）FSRL 也是为了改进引用的语义表示，利用局部邻居增强实体嵌入（注意力机制分配不同权重）

但是权重并不会在所有任务关系中发生变化，所以这两个都是为邻居分配静态权重，在涉及不同的任务关系时产生静态实体表示，但我们更应该使用动态权重这样更符合实际效果。

对于实体可以是多义的，关系也可以是多义的。因此，引用三元组还可以对特定查询作出不同的贡献。就是说对于支持集中的不同三元组要有侧重的选择。

所以针对这种情况我们采用FAAN（自适应网络小样本知识图谱补全）：

  1. 给定一个任务关系对于的支持集和查询集
  2. 给定一个自适应注意邻居编码器（单跳）对实体进行编码
  3. 为了增强实体表示，采用Transformer块的的堆栈作为参考/查询三元组，来捕获关系的多义
  4. FAAN通过自适应地聚合引用，得到一个通用的引用表示，进一步区分它们对不同查询的贡献
最低0.47元/天 解锁文章
【论文阅读笔记】Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs - EMNLP 2019
努力不秃头！
12-18 1276
我们提出了一个元关系学习（MetaR）框架来进行知识图谱中常见但具有挑战性的小样本链接预测，即通过仅观察几个关联三元组来预测关于关系的新三元组。我们通过专注于传输特定于关系的元信息来解决小样本链接预测，使模型学习最重要的知识并学得更快，即MetaR中对应关系的关系元和梯度元。
【论文阅读笔记】One-Shot Relational Learning for Knowledge Graphs - EMNLP 2018
努力不秃头！
12-05 1278
长尾关系实际上在知识图谱中更常见，并且这些新添加的关系通常没有很多已知的三元组用于训练。在这项工作中，我们的目标是在只有一个训练实例可用的具有挑战性的环境下预测新事实。我们提出了一种one-shot关系学习框架，它利用嵌入模型提取的知识，并通过考虑学习的嵌入和一跳图结构来学习匹配度量。根据经验，我们的模型比现有嵌入模型产生了相当大的性能改进，并且在处理新添加的关系时也无需重新训练嵌入模型。
蔡氏方程matlab求解代码-knowledge_graph_attention_network:KGAT：推荐的知识图注意力网络，KDD20
05-19
蔡氏方程matlab重构代码知识图注意力网络 这是本文的Tensorflow实现： 王翔，何湘南，曹一欣，刘萌和蔡达生（2019）。 KGAT：推荐知识图注意力网络。 或者 。 2019年8月4日至8日，在美国阿拉斯加州安克雷奇KDD'19举行。 作者：王翔博士（u.nus.edu的王翔） 介绍 知识图注意力网络（KGAT）是专门针对知识感知的个性化推荐量身定制的新推荐框架。 KGAT建立在图神经网络框架的基础上，对协作知识图中的高阶关系进行显式建模，以提供带有项边信息的更好推荐。 引文 如果您想在研究中使用我们的代码和数据集，请引用： @inproceedings{KGAT19, author = {Xiang Wang and Xiangnan He and Yixin Cao and Meng Liu and Tat{-}Seng Chua}, title = {{KGAT:} Knowledge Graph Attention Network for Recommendation}, booktitle = {{KDD}}, pages = {950--958}, year\n=
会议交流 - CCKS2020 | 2020年全国知识图谱与语义计算大会
开放知识图谱
10-16 1062
OpenKG开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。 ...
少样本知识图谱补全技术研究概述（新模型会持续更新，可以偶尔来看，等我读文献的）
最新发布
qq_45444343的博客
03-12 4000
少样本知识图谱补全（FKGC）是目前知识图谱补全任务的一个研究热点，旨在拥有少量样本数据的情况下，完成知识图谱补全任务。该任务在实际应用和知识图谱领域都有着重要的研究意义,为了进一步促进FKGC领域的发展，对目前各类方法进行了全面总结和分析。
EMNLP21 - Few-Shot Named Entity Recognition: An Empirical Baseline Study
ywm_up
12-13 852
Huang J, Li C, Subudhi K, et al. Few-Shot Named Entity Recognition: An Empirical Baseline Study[C]//Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. 2021: 10408-10423. EMNLP 2021. 文章目录AbstractIntroductionMethodPrototy
论文阅读笔记《Few-Shot Learning with Graph Neural Networks》
深视
05-21 3545
核心思想   本文提出一种采用图神经网络（Graph Neural Network，GNN）的小样本学习算法，将距离度量由欧式空间转移到非欧空间中，其核心思想还是将有标签支持样例的标签信息传递到无标签的查询样例上去，这种信息的传递可以看做一个图模型根据输入的图像和标签给出的后验推断。那么具体是如何实现的呢？首先，作者将输入数据集划分为三部分 其中(x1...xs)(x_1...x_s)(x1​...xs​)表示带有标签的支持集，(x~1...x~r)(\tilde{x}_1...\tilde{x}_r)(
Position-Aware-Tagging-for-ASTE:EMNLP 2020论文“面向方面情感三元组提取的位置感知标记”的代码和模型
05-22
，2020）在AAAI 2020中发表的论文中首次提出了这一任务，该论文 例如： 给定这句话： 屏幕很大，晶莹剔透，色彩和分辨率惊人。 方面情感三元组提取（ASTE）任务的目的是预测三元组： [（'screen'，'large'，'...
EMNLP-21-Exploring Task Difficulty for Few-Shot Relation Extraction
Hekena的博客
09-10 538
亮点，我觉得是任务难度的考虑，在损失函数中，根据关系相似度判断每个instance识别的难度，并适当的调整权重。这里有点意思。另外，是关系原型的表示，从instance内部和instance之间建立层次，分别得到关系的原型表示，再用对比学习，进一步得到更佳原型表示，也还好。但感觉，在评价任务难度上，做的不太好，只用相似度一个指标，覆盖不太全面的吧。
Attention-based Few-Shot Person Re-identification Using Meta Learning
han jan的博客
02-26 1344
一、介绍 作者使用元学习的方法，通过构建gallery encoder和probe encoder使得gallery image图片能够根据其余gallery images提取特征，probe image能够根据gallery iamges提取特征，达到了很好的效果，few-shot的情况下就超过了全监督的方法。 作者指出，当前行人重识别存在两个挑战： 一是每个行人包含的样本很少。基于分类的...
Graph Matching Networks for Learning the Similarity of Graph Structured Objects
05-07
近日，DeepMind 和谷歌联合进行了一项研究，该研究提出了一种执行相似性学习的新型强大模型——图匹配网络（GMN），性能优于 GNN 和 GCN 模型。该论文已被 ICML 2019 接收。 DeepMind 和谷歌的这项新研究聚焦检索和匹配图结构对象这一极具挑战性的问题，做出了两个重要贡献。 首先，研究者展示了如何训练图神经网络（GNN），使之生成可在向量空间中执行高效相似性推理的图嵌入。其次，研究者提出了新型图匹配网络模型（GMN），该模型以一对图作为输入，通过基于跨图注意力的新型匹配机制进行联合推理，从而计算它们之间的相似性分数。 研究者证明 GMN 模型在不同领域中的有效性，包括极具挑战性的基于控制流图的函数相似性搜索问题，这个问题在检索软件系统的漏洞中起着非常重要的作用。实验分析表明 GMN 模型不止能在相似性学习的环境下利用结构，还能超越针对这些问题手动精心设计的特定领域基线系统。研究主题：图相似性学习问题 图是编码关系结构的自然表征，常常出现在多个领域中。根据图结构数据定义的计算可以用在各种领域中，从计算生物学和化学的分子分析到自然语言理解中知识图或图结构解析的分析都可以。 近几年来，图神经网络（Graph Neural Network，GNN）已经成为可以有效学习结构数据表征、解决各种基于图的监督预测问题的模型了。这样的模型在迭代聚合局部结构信息的传播过程中设计并计算图节点表征，从而对图元素的排列（permutation）具有不变性。然后直接将这些节点表征用于节点分类，或者将它们合并到用于图分类的图向量中。而 GNN 在监督分类或回归以外的问题的相关研究相对较少。 DeepMind 的这篇论文研究的是图结构对象的相似性学习问题，这个问题在现实生活中有很多重要的应用，尤其是在图数据库中基于相似性的搜索。还有一个应用是涉及计算机安全的二元函数相似性搜索，给定的二元函数可能包含有已知漏洞的代码，我们要检查这个二元函数中是否有和已知易受攻击的函数相似的控制流图（control-flow-graph）。这有助于识别闭源软件中易受攻击的静态连结函式库，这是一个很常见的问题 (CVE, 2010; 2018)，现在还没有很好的解决方法。图 1 展示了一个例子，在这个例子中用汇编语言注释的控制流图来表示二元函数。这种相似性学习问题极具挑战性，因为就算是图之间细微的差别也会造成语义上极大的不同，但结构不同的图语义上可能非常相似。因此，对这个问题而言，一个成功的模型应该（1）利用图结构；（2）能从图的结构和学习到的语义中推导出图的相似性。图 1：二元函数相似性学习问题。检查两个图是否相似需要推理图的结构和语义。左边两个控制流图对应使用不同编译器编译的相同函数（因此二者比较相似），但右侧图对应的是不同函数。 解决方案 为了解决图相似性学习问题，该论文研究了 GNN 在这种情况中的使用，探讨了如何用 GNN 将图嵌入到向量空间，并学习这种嵌入模型，从而使向量空间中相似的图靠近、不相似的图分开。这个模型的一个重要特性是它可以将每一个图独立地映射到一个嵌入向量，然后在向量空间中执行相似性计算。因此，可以预先计算并索引大型数据库中的图嵌入，这样就能用快速的最近邻搜索数据结构（如 k-d 树） 或局部敏感哈希算法 (Gionis et al., 1999) 执行高效的检索。 研究者进一步扩展 GNN，提出新型图匹配网络（Graph Matching Networks，GMN）来执行相似性学习。GMN 没有单独计算每个图的图表征，它通过跨图注意力机制计算相似性分数，来关联图之间的节点并识别差异。该模型依赖成对图计算图表征，因此它比嵌入模型更强大，并在准确率和计算之间做出了很好的权衡。 研究者在三个任务上评估了 GMN 和基线模型：仅捕获结构相似性的合成图编辑距离学习任务（synthetic graph edit-distance learning tas），以及两个现实世界任务——二元函数相似性搜索和网格检索，这两项任务都需要推理结构相似性和语义相似性。在所有任务中，GMN 都比基线和结构不可知（structure agnostic）模型的性能更好。在更详细的模型简化测试中，研究者发现 GMN 始终优于图嵌入模型和 Siamese 网络。 该研究的贡献如下： 展示了如何用 GNN 产生用于相似性学习的图嵌入； 提出了新型图匹配网络（GMN），该网络基于跨图注意力匹配来计算相似性； 实验证明，该研究提出的图相似性学习模型 GMN 在多个应用中都有良好的表现，比结构不可知模型和现有的手动建立的基线模型都要好。 深度图相似性学习 给定两个图 G1 = (V1, E1) 和 G2 = (V2, E2)，我们需要一个可以计算两图之间相似性分数 s(G1, G2) 的模型。每个图 G = (V, E) 被表示为节点 V 和边 E 的集合，每个节点 i∈V 都可以和特征向量 x_i 相关联，每条边 (i, j) ∈ E 都可以和特征向量 x_ij 关联起来。这些特征可以表示节点类型、边的方向等。如果一个节点或者一条边不能关联任何特征，那么我们可以将对应向量设置成值为 1 的常量。研究者提出了两个图相似性学习模型：一个是基于标准 GNN 的学习图嵌入的模型；另一个是更为崭新也更加强大的 GMN。图 2 展示了这两个模型：图嵌入模型 图嵌入模型可以将每一个图都嵌入到向量中，然后用向量空间中的相似性矩阵衡量图之间的相似性。GNN 嵌入模型包括三个部分：编码器、传播层和聚合器。 图匹配网络 图匹配网络以一对图作为输入，计算它们之间的相似性分数。和嵌入模型相比，图匹配模型联合成对图计算相似性分数，而不是先将每个图独立地映射到向量上。因此，图匹配模型可能比嵌入模型更加强大，但它需要额外的计算效率。 图匹配网络改变了每个传播层中的节点更新模块，这样不仅可以考虑到每个图的边上的聚合信息，还可以考虑到衡量一个图中的一个节点和其他图中的一或多个节点匹配近日，DeepMind 和谷歌联合进行了一项研究，该研究提出了一种执行相似性学习的新型强大模型——图匹配网络（GMN），性能优于 GNN 和 GCN 模型。该论文已被 ICML 2019 接收。 程度的跨图匹配向量：以调整图的表征，在它们不匹配时放大它们之间的差异。 实验 研究者在三个任务上评估了图相似性学习（Graph Similarity Learning，GSL）框架、图嵌入模型（GNN）以及图匹配网络（GMN）的性能，并将这些模型与其他方法进行了对比。总体上，实验结果表明在图相似性学习任务上，GMN 表现优异，而且始终优于其他方法。 学习图编辑距离（GED) 图 G1 和 G2 之间的图编辑距离即将 G1 变换为 G2 所需的最小编辑操作。通常这些编辑操作包括添加／移除／替换节点和边。图编辑距离是衡量图之间相似性的自然指标，在图相似性搜索中有很多应用。 从下表 1 中可以看出，通过学习特定分布的图，GSL 模型的性能优于一般的基线模型，而 GMN 的性能持续优于图嵌入模型（GNN）。基于控制流图的二元函数相似性搜索 二元函数相似性搜索是计算机安全领域中的重要问题。当我们无法获取源代码时，可以通过二元函数执行分析和搜索，例如在处理商业或嵌入式软件或可疑的可执行程序时。 下图 4 展示了具备不同传播步和不同数据设置的不同模型在二元函数相似性搜索任务上的性能。从图中，我们可以看到： 图嵌入模型和图匹配模型的性能随着传播步的增加而持续提升； 在传播步足够的情况下，图嵌入模型持续优于基线模型； 图匹配模型在所有设置和传播步的情况下都优于图嵌入模型。研究者检测了GMN 模型中不同组件的效果，并将 GMN 模型与图卷积网络（GCN）、图神经网络（GNN）和 GNN/GCN 嵌入模型的 Siamese 版本进行对比。 下表 2 展示了实验结果，表明： GNN 嵌入模型是具备竞争力的模型（比 GCN 模型强大）； 使用 Siamese 网络架构基于图表征学习相似性要比使用预先指定的相似性指标（Euclidean、Hamming 等）好； GMN 优于Siamese 模型，这表明在计算过程早期进行跨图信息交流是非常重要的。
Few-Shot Knowledge Graph Completion阅读笔记
小白一枚，共同交流，共同进步~
01-23 1719
Few-Shot Knowledge Graph Completion 原文下载 AAAI 2020 摘要 知识图谱作为多种自然语言处理应用的有用资源。原来知识图谱的补全方法要求每种关系拥有大量的训练实例(例如头部-尾部实体)。但是在真实的场景中，对于大多数实体仅有少数的实体对可以得到。并且现有小样本学习方法对于小样本的场景缺乏一般性也没有充分利用监督信息；然而小样本知识图谱补全还没有被很好的研究。在本文工作中作者提出了一个新颖的小样本关系学习模型(FSRL)目的是为了基于给定的参考集发现新关系的实体。FS
论文解读：A Neighborhood-Attention Fine-grained Entity Typing for Knowledge Graph Completion
zhaiyumi的博客
07-25 481
知识图谱实体类型主要是推断可能的实体类型实例，是知识图谱补全(KGC)的一个重要子任务。现有的实体类型方法通常利用实体表示来对实体及其类型之间的传输进行建模，而在识别实体的语义类型时不能充分探究细粒度的实体类型。为了解决这些问题，文章提出了邻域-注意神经细粒度实体类型(AttEt)，它考虑从KGs到实体及其类型的实体的邻域信息。在本文中，AttEt首先开发了一种特定类型的注意力机制，以特定类型的权重聚合给定实体的邻域知识。这些权重有利于为不同类型的实体捕获各种特征。...
元学习——Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs（文献解读）
hei653779919的博客
06-01 3791
元学习——Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs（文献解读） 1. Introduction 常规的知识图谱是由一系列的三元组所组成，三元组的基本形式为： 头实体，关系，尾实体头实体，关系，尾实体头实体，关系，尾实体 尽管在知识图谱中包含了大量的实体、关系和三元组，但是很多的知识图谱仍然是不完整的。因此，知识图谱的完整性是知识图谱发展的一个重要的环节。一类的知识图谱补全的任务是知识图谱的连接预测。其目
CIKM 2020 Graph Prototypical Networks for Few-shot Learning on Attributed Networks 小样本图学习
qq_40926715的博客
03-24 1117
小样本 GNN 原型学习
小样本学习与图神经网络论文调研
weixin_55768678的博客
10-04 1411
转自知乎@白小鱼[论文清单]小样本学习与图神经网络 - 知乎 要入门某研究方向的最基本方法就是读文献，fighting 该交叉领域工作较多，截至目前在正式期刊会议[2]上有A类文章12篇，B类文章11篇，C类文章4篇。近三年有31篇预印本文章。 正式期刊会议文章 2021 CCF-C Xu Zhang, Youjia Zhang, Zuyu Zhang: Multi-granularity Recurrent Attention Graph Neural Network for Few-Sh
CoKE: Contextualized Knowledge Graph Embedding
Ohh_ckx的博客
03-05 581
COKE简介
FSCIL论文详解 Few-Shot Class-Incremental Learning， CVPR2020
祥瑞的技术博客
04-26 7245
CVPR2020 论文地址： https://arxiv.org/pdf/2004.10956.pdf CVPR2020 本篇，FSCIL，西交大提出的。将NG网络运用到增量学习之中。 ECCV2020，TPCIL，也是西交大的同一个人发的，Topology Preserving Class-Incremental learning，同样的框架，即CNN+拓扑结构，部分内容换了一个写法。 CVPR2021与本篇非常类似，Few-Shot Incremental Learning with Cont
CIKM 2021 | DISENKGAT：知识图谱解耦表征学习
Paper weekly
11-01 2620
©PaperWeekly 原创 ·作者 |吴俊康学校 |中国科学技术大学硕士生研究方向 |信息检索论文标题：DisenKGAT: Knowledge Graph Embedding...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

fadeGR

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值