KBGAN: Adversarial Learning for Knowledge Graph Embeddings理解

最新推荐文章于 2024-11-28 18:35:08 发布

原创最新推荐文章于 2024-11-28 18:35:08 发布 · 2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#知识图谱 #生成对抗网络

本研究提出KBGAN模型，将生成对抗网络(GANs)与知识图谱嵌入(KGE)相结合，有效提高KGE的训练效率。KBGAN采用一阶强化学习策略，利用生成器产生高质量负样本，判别器则最小化正负样本间的边际损失，实验证明此方法显著优化了KGE效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本篇论文的主要创新点在于将GANs与Knowledge graph embeddings(KGE)相结合，提高了KGE的效率。

传统KGE方法通过随机替换fact的head或tail entity生成负样本，但这样的负样本往往与正样本的语义差别较大，对模型的训练没有帮助。

因此，本文提出KBGAN——损失函数为marginal loss function，带有softmax的KGE模型。KBGAN的总架构如下图所示。
在这里插入图片描述
其中，G(Generator)基于softmax产生高质量的负样本，D(Discriminator)最小化正样本与生成负样本的marginal loss。

最后，通过大量的实验表明，GANS与KGE结合，大大改善了KGE的效率。

另外，本文还有一些值得注意的地方：

One-step reforcement learning with policy gradient descent.
Detailed proof.

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dreamweaverccc

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

知识图谱-KGE-对抗模型-2018：KBGAN

u013250861的博客

11-24

891

将生成对抗的思想引入到 KGE，本文的具体做法是对每个 KGE 任务，使用两个模型，一个模型（双线性模型如 DistMult 或 ComplEx）用作生成器，生成高质量的负样本，另一个模型（TransE 或 TransD）做判别器，用正样本和生成器给出的负样本训练 embedding。普通的负采样方法，对正样本三元组的头实体或尾实体从实体集中随机采样替换，生成的负样本是很明显的错误样本，很容易通过实体的类型区分开来，比较“高级”的负样本是尽量“替换同类型实体”的负样本三元组。生成器和判别器都需要预训练。

You can teach an old dog new tricks on training knowledge graph embeddings论文及代码分析

羊城迷鹿的博客

09-16

574

研究问题论文认为模型的训练方式、超参数、损失函数等模型结构之外的细节比模型结构本身重要，一些效果很差的古早模型换了一些训练方式之后，表现不亚于最近的模型，同时不同模型结构也适用于不同的训练方法结构之外的因素 Training type：训练KGE模型有三种常用的方法，它们的区别主要在于生成负样本的方式 NegSamp：对于给定的三元组t = (i; k; j)，对其中的i,k,j进行随机扰动，并确保得到的三元组在知识图谱中是不存在的 1vsAll：省略采样，把所有的可以通过替换i或j得到的三元组作

参与评论您还未登录，请先登录后发表或查看评论

论文泛读·Adversarial Learning for Neural Dialogue Generation

01-03

349

原文翻译导读　　这篇文章的主要工作在于应用了对抗训练（adversarial training）的思路来解决开放式对话生成（open-domain dialogue generation）这样一个无监督的问题。　　其主体思想就是将整体任务划分到两个子系统上，一个是生成器（generative model），利用seq2seq式的模型以上文的句子作为输入，输出对应的对话语句；另一个则...

Adversarial Learning

weixin_41128293的博客

09-25

2819

GAN KL散度，JS散度传统GAN 在辨别器最优时，生成器的loss为根据KL,JS散度，但是如果两个分布完全没有重叠的部分，或者它们重叠的部分可忽略时 JS散度始终未log2 而这对于梯度下降方法意味着——梯度为0 生成样本分布的支撑集就在4096维空间中构成一个最多100维的低维流形从某个低维（比如100维）的随机分布中采样出一个编码向量判别器训练得太好，生成器梯度消失，生...

KBGAN项目教程：基于对抗学习的知识图谱嵌入方法

gitblog_01047的博客

08-26

369

KBGAN项目教程：基于对抗学习的知识图谱嵌入方法 1. 目录结构及介绍 KBGAN项目遵循了清晰的代码组织结构，便于开发者理解和定制。下面是其主要目录结构及其简要说明： KBGAN ├── data # 数据处理相关文件夹，存放预处理数据和配置。 │ ├── data.zip # 原始或预处理过的数据压缩包 │ └── config_*...

Adversarial Learning for Neural Dialogue Generation

liuyuemaicha的专栏

03-06

5366

Adversarial Learning for Neural Dialogue Generation文献的重点翻译和总结

学习论文"Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs"笔记

いいこと？暁の磕盐线に胜利を刻みなさいっ！

01-29

2278

1.文章的重点工作和创新点 1.Zero-shot：零样本学习，相关简介如下，禁止套娃零样本学习常用演算法有： Domain Adaptation，推荐Associative Adaptation系列的论文"Associative Domain Adaptation " Data Selection：是一种相对直观的方法，论文《Selecting Training Data for ...

Learning Visual Commonsense for Robust Scene Graph Generation论文笔记

chinalihua的博客

07-24

1166

原论文地址：https://link.springer.com/content/pdf/10.1007/978-3-030-58592-1_38.pdf 总体结构：感知模型，它采用输入图像I并生成感知驱动的场景图 GP 常识模型，它以 G P 作为输入，并产生一个常识驱动的场景图 G C 感知模型GLAT：输入G_p，带有masked node。经过一个Global-Local多头注意力机制，具体实现： G=（Ne，Np，Es，...

RIPGeo参文35（SimGRACE）：A simple framework for graph contrastive learning without data augmentation

sinat_41942180的博客

03-16

889

WWW, 2022.文章，并且可能在增广不当时导致语义变化的问题，基于扰动后的encoder可以保持图数据语义的分析和发现，提出无需的对比学习框架SimGRACE，该方法利用不同的图编码器作为对比视图的生成器，比较两个不同编码器扰动后得到的视图之间的语义相似度，通过在向量空间中，拉近相同语义的向量表示，进行对比学习。此外，利用对抗训练的方式提出AT-SimGRACE，进一步提升方法的鲁棒性。图对比学习已经成为主流的图表示学习方法，不仅能够充分挖掘图的结构和语义信息，并且避免了对大量人工标注样本的依赖。

Generative Adversarial Imitation Learning 生成对抗的模仿学习

11-25

Generative Adversarial Imitation Learning Jonathan Ho Stefano Ermon

粗学Few-Shot Adversarial Learning

weixin_42057214的博客

10-29

787

元学习元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。是要“学会如何学习”，即利用以往的知识经验来指导新任务的学习，具有学会学习的能力。包括：终生学习，少样本学习，多任务学习，多智能体学习，学会学习，迁移学习。深度学习强化学习是人工智能在训练中得到策略的训练过程，强化学习强调的是一个过程。例如，阿尔法狗围棋学习中，就会用到强化学习这样的自学习过程 ...

【深度学习基础】对抗学习（Adversarial learning）

最新发布

十二月的猫

11-28

4292

本系列文章，重点帮助大家理解机器学习中的各种学习包括多任务学习、联邦学习、对比学习等。今天，猫猫来讲讲对抗学习，希望可以和大家一起打开对抗学习的大门！机器学习这一技术自出现之始就以优异的性能应用于各个领域。近年来，随着机器学习的快速发展与广泛应用，这一领域更是得到前所未有的蓬勃发展。目前, 机器学习在计算机视觉、语音识别、自然语言处理等复杂任务中取得了公认的成果，已经被广泛应用于自动驾驶、人脸识别等领域。

论文笔记---Adversarial Learning for Robust Deep Clustering

weixin_44177594的博客

06-22

974

Adversarial Learning for Robust Deep Clusteringintroduction背景和准备方法 introduction 以前的工作：K-means ------- 谱聚类 ------- 子空间聚类 K-means：相似度度量对于高纬样本不准确谱聚类：核函数很难确定子空间聚类：依赖线性子空间假设构建亲和矩阵，但数据在很多情况下并不自然地符合线性模型。深度聚类：将embedding和聚类作为一个单一的过程来获得最优嵌入(或表示)空间的聚类。现有的大

adversarial Learning and attacks 学习笔记

jxsdq的博客

01-24

1078

GANs大家是比较熟悉的网络结构，adversarial attacks 也不是很新的概念了。近期的工作有涉及到adversarial attacks，故整理一下学习的内容。

论文分享-- ＞Adversarial Learning for Neural Dialogue Generation

村头陶员外的博客

05-17

1736

本次要分享的论文是Adversarial Learning for Neural Dialogue GenerationAdversarial Learning for Neural Dialogue GenerationAdversarial\ Learning\ for\ Neural\ Dia...

论文引介 | Adversarial Learning for Neural Dialogue Generation

人工智能

04-09

6637

文章原名：Adversarial Learning for Neural Dialogue Generation 作者：Jiwei Li, Will Monroe, Tianlin Shi, Sebeastien Jean, Alan Ritter and Dan Jurafsky 单位：Stanford University, New York University and Ohio

《Adversarial learning for weakly-supervised social network alignment》翻译

qq_39917365的博客

04-10

1366

如今，一个自然人加入多个社交网络来享受不同种类的服务是很常见的。跨多个社交网络连接相同的用户，也称为社交网络对齐，是一个重大的研究挑战的重要问题。现有的方法通常在成对的样本级别上链接社会身份，当可用的注释数量有限时，这可能导致性能表现并不优越。在同构信息的激励下，本文将社交网络中的所有身份作为一个整体来考虑，并从分布层面对社交网络进行对齐。我们的目标是学习一个投影函数，不仅最小化两个社交网络中用户身份分布的距离，而且将可用的标注作为学习指导。我们提出了三种模型$SNNA_u$、$SNNA_b$和$SNNA_

【机器学习】对抗机器学习（AML）

Glass_Gun的博客

11-17

891

Adversarial Machine Learning (AML)的研究工作简单可以分为两个部分：攻击和防御。攻击，即指如何生成对抗样本以使得机器学习模型产生错误的预测；防御，即指如何使机器学习模型对对抗样本更鲁棒。