Implicit Graph Neural Networks

最新推荐文章于 2024-12-18 16:28:17 发布
最新推荐文章于 2024-12-18 16:28:17 发布
阅读量1.8k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # 图神经网络 文章标签： IGNN implicit
我们不生产知识，我们只是互联网的搬运工
本文链接：https://blog.youkuaiyun.com/itnerd/article/details/110938272

https://proceedings.neurips.cc/paper/2020/file/8b5c8441a8ff8e151b191c53c1842a38-Paper.pdf
在这里插入图片描述

摘要

图神经网络（GNN）是广泛使用的深度学习模型，可从图结构数据中学习有意义的表示。

由于底层循环结构的有限性，当前的GNN方法可能难以捕获底层图的长程依赖关系。

为了克服这个困难，我们提出了一种称为隐式图神经网络（IGNN）的图学习框架，其中的预测是基于关于隐式定义的“状态”的不动点平衡方程的解。

我们使用Perron-Frobenius理论得出框架适定的充分条件。

利用隐式微分，我们导出了一种可行的投影梯度法来训练框架。

在广泛的任务上进行的实验表明，IGNN 能够持续捕获远程依赖关系，并且性能优于最新的GNN模型。

文章贡献

在这项工作中，我们提出了隐式图神经网络（IGNN）框架，以解决循环GNN的评估和训练问题。

我们首先通过基于Perron-Frobenius理论的严格数学框架来分析图神经网络（Berman and Plemmons，1994），以建立收敛的一般适定性条件。

我们证明大多数现有分析都是我们结果的特例。

在训练方面，我们提出了一种投影梯度法来有效地训练 IGNN，其中我们利用隐式微分方法来获得精确的梯度，并在易处理的凸集上使用​​投影来保证适定性。

我们表明，以前的递归图神经网络梯度方法可以解释为IGNN的近似值。

此外，我们将IGNN扩展到异构网络的情形。

最后，我们与现有方法进行了全面的比较，并证明了我们的方法可以有效地捕获远程依赖关系，并且在各种任务上均优于最新的GNN模型。

IGNN

在这里插入图片描述

注

  • 不动点方程 (2b) 可以视为将图卷积执行无限次后的收敛状态
  • W , b Ω , f Θ W, b_{\Omega},f_{\Theta} W,bΩ​,fΘ​ 是待学习的
  • 对于任意的 ϕ , W \phi, W ϕ,W，给定输入 U U U，不动点可能不唯一
  • 作者给出了保证不动点唯一的充分条件：
    在这里插入图片描述
  • 充分条件实际上是对 W W W 的一个约束条件，但是由于 PF特征值 是个非凸函数，进一步把它改成更严格的对无穷诱导范数 ∥ W ∥ ∞ \|W\|_{\infty} ∥W∥∞​ 的约束，然后用投影梯度法来求解带约束的优化问题
    在这里插入图片描述
  • Perron-Frobenius 定理
    每个非负方阵 M M M 都有一个实的非负特征值，该值在 M M M 的所有特征值中具有最大的模. M M M 的该非负特征值称为 Perron-Frobenius 特征值
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5722
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
对人工神经网络的隐式行为进行可视化
36大数据
09-05 755
作者：Fan Hong 在许多机器学习任务中，人工神经网络尤其是近些年发展起来的深度学习网络，已经取得了十分瞩目的结果。然而，以前研究者往往将神经网络的内部行为当作黑盒来看待，神经网络到底学习到了什么并不了解。近些年来，研究者们逐渐开始关注这一问题，并通过了解其内部行为来帮助优化模型。而这篇工作则是从可视化的角度出发来对待这个问题。 为了理解这篇工作的内容，我们首先需要对神经网络有一定的了解。
ICLR 2020 开源论文 | 隐空间的图神经网络：Geom-GCN
Paper weekly
01-09 2079
作者丨纪厚业学校丨北京邮电大学博士生研究方向丨异质图神经网络及其应用引言图神经网络（Graph Neural Network）已经成为深度学习领域最热⻔的方向之一。作为经典的 Messa...
在神经网络中隐藏神经网络： On Hiding Neural Networks Inside Neural Networks
weixin_48654804的博客
09-14 482
On Hiding Neural Networks Inside Neural Networks https://arxiv.org/abs/2002.10078v3 本文提出了一种新颖的隐写方式，在神经网络中隐藏一个神经网络。神经网络所包含的参数往往比训练数据更多，过剩的参数量给信息隐藏提供了天然的土壤。神经网络拥有千万级甚至上亿的数据量，也就导致其参数的可能取值非常非常多，参数空间非常非常大。多任务的实质就是：优化获得分别满足各个任务的性能要求的参数空间的交集。 本文也可以看成是一个多任务学习，满足原始
【索引】Implicit Graph Traversal
不慌不忙、不急不躁
08-31 1219
AOAPC I: Beginning Algorithm Contests (Rujia Liu)                 Volume 3. Brute Force::Implicit Graph Traversal 10603 - Fill10422 - Knights in FEN10085 - The most distant state310 -
隐式神经表示一：神经网络拟合图像Implicit Neural Representations with Periodic Activation Functions
tony365的博客
11-16 6608
就是说用一个神经网络表示一个函数。隐式神经表示（Implicit Neural Representations）是指通过神经网络的方式将输入的图像、音频、以及点云等信号表示为函数的方法[1]。对于输入x找到一个合适的网络F使得网络F能够表征函数Φ由于函数Φ是连续的，从而使得原始信号是连续的、可微的。这么干的好处在于，可以获取更高效的内存管理，得到更加精细的信号细节，并且使得图像在高阶微分情况下仍然是存在解析解的，并且为求解反问题提供了一个全新的工具。
概述：隐式神经表示（Implicit Neural Representations，INRs）
热门推荐
本博客主要总结计算机视觉（三维人体重建）方向的相关知识，同时发布个人见解以及领域进展！
09-01 1万+
本文主要概述了隐式神经表示的相关内容，主要倾向于三维重建的应用。同时对隐式表示做了一个展开阐述。
论文《Revisiting Heterophily For Graph Neural Networks》笔记
bunny___的博客
07-17 1495
【ACM】作者从聚合后节点相似性的角度重新审视异配性，并定义了新的同质性度量方法。基于聚合相似度度量这一指标，作者提出了一种新的框架，称为自适应信道混合（Adaptive Channel Mixing，ACM），它通过自适应地利用聚合、多样化和身份信道来提取更丰富的局部信息，以对应不同的节点异配性情况。
Optimization of Graph Neural Networks Implicit Acceleration by Skip Connections and More Depth
xiaobai_zac的博客
04-25 321
Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth 论文来源：https://arxiv.org/pdf/2105.04550.pdf – 2021.ICML 摘要 通过研究GNN的梯度动力学， 线性GNN以线性速度收敛到最小值是有保证的，其次，研究了影响GNN训练速度的因素。结果表明，跳越连接、更深入和/或良好的标签分布可以隐式地加速GNN的训练。研究结果首次为具有跳
2021_WSDM_Pre-Training Graph Neural Networks for Cold-Start Users and Items Representation
weixin_46645827的博客
02-02 2321
[论文阅读笔记]2021_WSDM_Pre-Training Graph Neural Networks for Cold-Start Users andItems Representation 论文下载地址： https://doi.org/10.1145/3437963.3441738 发表期刊：WSDM Publish time: 2021 作者及单位: Bowen Hao Renmin University of China jeremyhao@ruc.edu.cn Jing Zhang∗ Ren
A Comprehensive Survey on Graph Neural Networks--图神经网络综合研究
m0_44967199的博客
01-13 4230
现阶段研究现状 近年来，从图像分类到视频处理再到语音识别和自然语言处理，深度学习已经变革了多项机器学习的任务。这些任务中的数据通常表示在欧几里得空间中。然而，越来越多的应用使用非欧几里得域生成的数据，并将它们表示为具有复杂关系和相互依赖的关系图。虽然图数据的复杂性对现有的机器学习的算法提出了重大的挑战，但最近许多研究开始将深度学习方法扩展到图数据。 本文综述了数据挖掘和机器学习领域中的图神经网络（...
ImplicitGraphs.jl：隐式定义的图（可能是无限的）
02-12
隐式图 ImplicitGraph是一种图形，其中的顶点和边由两个函数隐式定义：一个用于测试顶点隶属关系，另一个用于返回顶点（外）邻居的列表。 ImplicitGraph的顶点集可以是有限的，也可以是（隐含的）无限的。 但是，（输出）度必须是有限的。 创建图 ImplicitGraph定义如下： ImplicitGraph {T} (has_vertex, out_neighbors) 哪里 T是顶点的数据类型。 has_vertex(v::T)::Bool是一个函数，它将T类型的对象作为输入，如果v是图形的顶点，则返回true 。 out_neighbors(v::T)::Vector{T}是一个函数，将类型T对象作为输入，并返回v的（外）邻居的列表。 例如，以下代码创建一个（基本上）无限路径，其顶点为整数（另请参见iPath函数）： yes (v :: Int ) ::
神经网络 前景 背景_加州伯克利博士：基于隐模型的图神经网络设计 | NeurIPS 2020论文分享...
weixin_34536454的博客
01-31 332
近年来，人们对深度学习方法在图上的扩展越来越感兴趣。在多方因素的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图数据的神经网络结构，由此出现了一个新的研究热点——“图神经网络(Graph Neural Networks，GNN)”。图神经网络在计算机视觉、基于图的推荐系统、交通路线规划、化学分子的图结构等等领域有着广泛的应用前景。但是现有的图神经...
Implicit Neural Representations with Periodic Activation Functions
MTandHJ的博客
10-07 830
文章目录概主要内容初始化策略其它的好处 Sitzmann V., Martel J. N. P., Bergman A. W., Lindell D. B., Wetzstein G. Implicit neural representations with periodic activation functions. Advances in Neural Information Processing Systems (NIPS), 2020. 概 本文提出用sin⁡\sinsin作为激活函数, 并分析
隐式神经表示二：超分网络学习傅里叶系数Local Texture Estimator for Implicit Representation Function
tony365的博客
11-16 3186
将上面的结果，与双线性插值的 upscale LR 相加, 得到最后的结果，因此解码器输出的可以当作是。一个典型的隐式表示方法作超分：隐式体现在 不是 直接拟合图像，二十首先提取特征，再根据特征估计目标。接下来，就是根据 幅度，频率，相位得到 傅里叶表示，后续会输入 解码器。首先根据输入的坐标 找到 最近邻的4个坐标，利用了循环，目的是求。双线性插值得到网络的结果， areas是双线性插值的系数。可以理解为，输入一个坐标，利用 1）最近的4个点的特征。是encoder的输出，可以理解为提取的图像特征。
2023-ICCV-隐式神经网络实现低光照图像增强（NeRCo）论文解读+代码解析
weixin_45595504的博客
05-09 2631
NeRCo()提出了一种名为NeRCo的隐式神经表示方法，用于合作式低光图像增强。现有的低光图像增强方法存在以下三个限制：不可预测的亮度降低和噪声、度量友好版本和视觉友好版本之间的固有差距，以及有限的配对训练数据。为了解决这些限制，论文提出了NeRCo方法，它以无监督的方式稳健地恢复感知友好的结果。具体而言，NeRCo通过一个可控的拟合函数统一了现实场景中多样的退化因素，从而提高了鲁棒性。对于输出结果，论文引入了来自预训练视觉-语言模型的先验信息，采用语义导向的监督方法。
基于隐式神经网络表达的数据压缩
Kenji_Shinji的博客
10-20 1450
通过运用元学习方法，基于INR的数据压缩算法在压缩效率大大提升。在问题一的探讨中提到，INR模型可以分为基模型和调制模型，其中基模型的训练是离线进行，调制模型的训练是基于压缩的目标数据进行的权重微调过程，是在线进行。首先，INR模型的大小、结构、训练难度是与信息复杂度成正比，而非原数据的分辨率，这使得时空相关性强的数据能够得到卓越的压缩效果，达到极致的去除冗余信息的效果，其次， INR模型在被解压时，输入采样点可控制解压后数据的分辨率，用户可以自由的进行数据的部分解压、低分辨率解压、甚至是超分辨率解压。
神经隐式表示（Neural Implicit Representations, NIR）
weixin_58349913的博客
12-18 1741
神经隐式表示（Neural Implicit Representations, NIR）是一种基于神经网络的方法，用于表示和重建复杂的几何形状、物体表面、场景等。与传统的显式几何表示（如网格、点云、体素等）不同，神经隐式表示通过神经网络学习数据的隐式表达，通常是通过一个连续函数来表示形状、纹理或场景等的特征。
隐式神经表示
qq_44708206的博客
11-22 2081
隐式神经表示
sffnet
最新发布
03-28
包括但不限于全连接网络、卷积神经网络（Convolutional Neural Network, CNN）、循环神经网络（Recurrent Neural Network, RNN）及其变体 gated graph sequence neural networks (GG-SNN)[^4]。 4. **易于扩展的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

颹蕭蕭

白嫖？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值