I Know What You Do Not Know: Knowledge Graph Embedding via Co-distillation Learning

已于 2025-02-19 20:44:53 修改
阅读量578 收藏 1
点赞数
分类专栏： 图谱洞见 前沿智库 自然语言处理 文章标签： 知识图谱 人工智能 自然语言处理
于 2022-10-27 13:54:20 首次发布
本文为博主原创文章，未经博主允许不得转载，听见没。
本文链接：https://blog.youkuaiyun.com/jining11/article/details/127496029
版权

文章目录

🎉进入图谱洞见专栏 | 🚀查看更多专栏内容

研究问题

论文通过实验证明了文本信息和图结构信息是互补的，并使用共蒸馏学习来同时获取这两类信息

背景动机

  • 单纯的基于图结构的方法面临着不完备性和稀疏性问题，难以预测长尾实体
  • 作者比较了基于文本和基于结构的方法在不同实体上的表现，发现前者在长尾实体上的表现好于后者，而在多次出现的实体上的表现相反，说明它们是互补的
  • 图中当边数过多时，两个模型的效果都出现了较大的下降，对于基于文本的模型，这可能受到文本中的噪音、一词多义等因素的影响，对于基于结构的模型，可能是受到1-n、n-n等复杂关系模式的影响

在这里插入图片描述

    了解本专栏 订阅专栏 解锁全文 超级会员免费看
    I Know What You Do Not Know:Knowledge Graph Embedding via Co-distillation Learning
    weixin_44466434的博客
    07-07 136
    1
    图谱洞见：专栏概要与内容目录
    最新发布
    羊城迷鹿的博客
    02-21 763
    解锁数据关联的无限可能，掌握知识图谱核心技术与应用。
    知识蒸馏 （一） 综述
    weixin_41386168的博客
    04-15 2204
    综述 《Knowledge Distillation: A Survey》2021 《Knowledge Distillation: A Survey》 - 知乎 《Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New》[论文翻译]Knowledge Distillation and Student-Teacher Learning for Visual Intellig
    深度学习方法（十五）：知识蒸馏（Distilling the Knowledge in a Neural Network），在线蒸馏
    热门推荐
    Bin 的专栏
    10-15 7万+
    Distilling the Knowledge in a Neural Network 这篇介绍一下Hinton大神在15年做的一个黑科技技术，Hinton在一些报告中称之为Dark Knowledge，技术上一般叫做知识蒸馏（Knowledge Distillation）。核心思想是通过迁移知识，从而通过训练好的大模型得到更加适合推理的小模型。这个概念最早在06年的Paper： Model C...
    论文阅读 Knowledge Graph Embedding via Graph Attenuated Attention Networks
    qq_41669355的博客
    11-24 1146
    Knowledge Graph Embedding via Graph Attenuated Attention Networks 基于图衰减注意网络的知识图嵌入 发表于 Digital Object Identifier 10.1109/ACCESS.2019.2963367 摘要：知识图包含丰富的现实世界的知识，可以为人工智能应用程序提供强有力的支持。知识图的补全已经取得了很大的进展，最先进的模型是基于图卷积神经网络的。这些模型自动提取特征，结合图形模型的特征，生成具有较强表达能力的特征嵌入。但是，这些
    协同训练算法之co-training
    熙马拉雅的博客
    06-19 2万+
    在传统的监督学习中,学习器通过对大量有标记的(labeled)训练例进行学习,从而建立模型用于预测未见示例的标记。这里的“标记”(label)是指示例所对应的输出,在分类问题中标记就是示例的类别。随着数据收集和存储技术的飞速发展,收集大量未标记的(unlabeled)示例已相当容易,而获取大量有标记的示例则相对较为困难,因为获得这些标记可能需要耗费大量的人力物力。如果只使用少量的有标记示例,那么利
    NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
    头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
    07-29 1万+
    ​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
    推荐系统和知识图谱论文推荐
    qq_35222729的博客
    08-30 5958
    KDD2020 Graph-based Recommendation A Framework for Recommending Accurate and Diverse Items Using Bayesian Graph Convolutional Neural Networks 【华为诺亚】 An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph 【Amazon】 论文：
    CVPR 2022 论文列表（持续更新）
    gbstack08的专栏
    03-05 1万+
    本文包括论文链接及代码 关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为优快云的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro
    【CVPR2019】论文完整列表一
    TomRen
    06-11 1万+
    CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
    知识蒸馏 | 综述：蒸馏机制
    zenRRan的博客
    12-14 1868
    每天给你送来NLP技术干货！来自：GiantPandaCV这一篇介绍各个算法的蒸馏机制，根据教师网络是否和学生网络一起更新，可以分为离线蒸馏，在线蒸馏和自蒸馏。感性上理解三种蒸馏方式：离线...
    如何在PPT中插入LaTeX公式
    羊城迷鹿的博客
    07-14 2万+
    将公式转化为Word可识别模式 以\mathcal{G}为例，首先打开网址 http://engenharialivre.com/latex-para-word/?# 复制最下面方框中的代码 <math xmlns="http://www.w3.org/1998/Math/MathML" display="block"> <mstyle displaystyle="true" scriptlevel="0"> <mrow class="MJX-TeXAtom-OR
    从几篇综述区分Dynamic Graph和Spatial-temporal Graph
    羊城迷鹿的博客
    02-28 7756
    Foundations and modelling of dynamic networks using Dynamic Graph Neural Networks: A survey 本文首先给出了动态网络的定义和分类，然后分别从编码和解码的角度介绍了图神经网络模型如何用于动态图的嵌入表示以及完成链路预测任务 动态网络 定义 动态网络是随时间变化的复杂网络。链接和节点可能出现和消失。 一个 动态网络可以表示为一个图G=(V,E)G=(V, E)G=(V,E)，其中V={(v,ts,te)}V=\{(v
    LaTeX修改表格宽度的两个方案
    羊城迷鹿的博客
    01-19 4309
    修改某列 主要适用于某一列太宽或者太窄的情况 原来是： \begin{tabular}{|c|c|c|c|c|c|c|c|c|c|} 想把第一列改宽，修改为： \begin{tabular}{|p{1.7cm}<{\centering}|c|c|c|c|c|c|c|c|c|} 整体修改 通过调整内部边距对表格整体进行修改 原来是： \begin{table}[!t] \centering 默认内边距是6，改成4之后表格更加紧凑： \begin{table}[!t] \setlength\ta
    跳过LATEX的IEEE模板的一些坑
    羊城迷鹿的博客
    10-30 4196
    文章目录下载模板编辑器设置隐藏字符的查找取消注释 下载模板 下载地址：http://www.ieee.org/publications_standards/publications/authors/author_templates.html 解压到本地之后，如果准备写期刊类型的论文就打开bare_jnl修改，如果是会议的话就打开bare_conf修改 IEEE模板根据期刊不同有几个主题，分别为： bare_jrnl.tex：写IEEE on之类的期刊常用这个模板 bare_jrnl_comsoc.te
    论文阅读：Fake News Detection on Social Media:A Data Mining Perspective
    羊城迷鹿的博客
    11-15 3270
    问题背景 当前的社交媒体由于具有成本低、访问易、传播快、社交参与度高等特点，吸引着越来越多的人从中获取和消费新闻，但这也同时给假新闻的快速传播创造了条件。对于社会，假新闻会扰乱整个新闻系统的生态，使得偏见深入人心；而对于每个个体，假新闻和真新闻的交织会让人感到困惑，逐渐丧失分辨真伪的能力。为了尽量减少假新闻给个人和社会带来的消极影响，社交媒体上的假新闻检测这一新兴研究领域得到了越来越多的关注。 问...
    模型对比：WaveNet与MTGNN
    羊城迷鹿的博客
    03-03 2474
    Graph WaveNet for Deep Spatial-Temporal Graph Modeling 研究问题 解决时序预测时如何自动学习出一个图结构的问题，之前组会讲过一篇KDD2020发表的《Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks》也是针对自动学习图结构，感觉借鉴了很多这篇19年论文的思想，在下面也对两篇论文做一些对比。 背景动机 传统提取空间信息的方法一般是在固定
    Distribution-Balanced Loss for Multi-label Classification in Long-Tailed Datasets
    羊城迷鹿的博客
    11-28 1970
    研究问题 针对长尾分布的多标签分类问题提出了分布平衡损失函数 背景动机 为了解决长尾分布的多标签分类问题，传统方法主要采取两步，第一步是用binary crossentropy(BCE)取代softmax loss，第二步是用class-specific re-weighting去平衡不同类的分布，也就是让类的权重和类的数目成反比。但这一方案无法解决label co-occurrence和dominance of negative labels这两个问题。 label co-occurrence指的是一张
    Filling the Gaps: Multivariate Time Series Imputation by Graph Neural Networks
    羊城迷鹿的博客
    11-28 1873
    研究问题 首次使用GNN去解决多元时间序列插补问题 背景动机 在真实场景下，时间序列数据通常是不完整的，通过插补方法来对缺失值进行填充是一项必要工作（和时间序列的预测问题相比，插补法不仅可以利用过去的事件信息，也可以利用未来的时间信息） 现有方法无法有效捕捉到传感器网络中存在的非线性时间和空间依赖性，也无法充分利用关系信息 两个传感器具有空间相似性不意味着物理上接近，而是说它们的数据变化比较相关 考虑到图神经网络可用于处理具有关系归纳偏差的序列数据，论文提出了一个称之为GRIN的GNN框架，通过消息传递学
    图嵌入技术实践教程：GraphEmbedding-master代码解析
    资源摘要信息:"GraphEmbedding-master(2023.1.19上传).zip" GraphEmbedding是一种图神经网络技术，它被广泛应用于处理图数据结构中的信息。这种技术可以帮助我们更好地理解图中的节点以及节点之间的复杂关系。通过...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包

    打赏作者

    羊城迷鹿

    你的鼓励将是我创作的最大动力

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付：¥1
    获取中
    扫码支付

    您的余额不足，请更换扫码支付或充值

    打赏作者

    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值