Implicit Graph Neural Networks

最新推荐文章于 2024-12-29 11:41:33 发布
原创 最新推荐文章于 2024-12-29 11:41:33 发布 · 1.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
我们不生产知识，我们只是互联网的搬运工
文章标签：

#IGNN #implicit

提出了一种名为隐式图神经网络（IGNN）的框架，该框架基于不动点平衡方程的解进行预测，旨在解决现有图神经网络（GNN）难以捕捉长程依赖的问题。通过对Perron-Frobenius理论的应用，建立了适定性的充分条件，并提出一种投影梯度法用于高效训练。实验证明IGNN能有效捕捉远程依赖并超越现有的GNN模型。
部署运行你感兴趣的模型镜像

https://proceedings.neurips.cc/paper/2020/file/8b5c8441a8ff8e151b191c53c1842a38-Paper.pdf
在这里插入图片描述

摘要

图神经网络（GNN）是广泛使用的深度学习模型，可从图结构数据中学习有意义的表示。

由于底层循环结构的有限性，当前的GNN方法可能难以捕获底层图的长程依赖关系。

为了克服这个困难，我们提出了一种称为隐式图神经网络（IGNN）的图学习框架，其中的预测是基于关于隐式定义的“状态”的不动点平衡方程的解。

我们使用Perron-Frobenius理论得出框架适定的充分条件。

利用隐式微分，我们导出了一种可行的投影梯度法来训练框架。

在广泛的任务上进行的实验表明，IGNN 能够持续捕获远程依赖关系，并且性能优于最新的GNN模型。

文章贡献

在这项工作中，我们提出了隐式图神经网络（IGNN）框架，以解决循环GNN的评估和训练问题。

我们首先通过基于Perron-Frobenius理论的严格数学框架来分析图神经网络（Berman and Plemmons，1994），以建立收敛的一般适定性条件。

我们证明大多数现有分析都是我们结果的特例。

在训练方面，我们提出了一种投影梯度法来有效地训练 IGNN，其中我们利用隐式微分方法来获得精确的梯度，并在易处理的凸集上使用​​投影来保证适定性。

我们表明，以前的递归图神经网络梯度方法可以解释为IGNN的近似值。

此外，我们将IGNN扩展到异构网络的情形。

最后，我们与现有方法进行了全面的比较，并证明了我们的方法可以有效地捕获远程依赖关系，并且在各种任务上均优于最新的GNN模型。

IGNN

在这里插入图片描述

注

  • 不动点方程 (2b) 可以视为将图卷积执行无限次后的收敛状态
  • W , b Ω , f Θ W, b_{\Omega},f_{\Theta} W,bΩ​,fΘ​ 是待学习的
  • 对于任意的 ϕ , W \phi, W ϕ,W，给定输入 U U U，不动点可能不唯一
  • 作者给出了保证不动点唯一的充分条件：
    在这里插入图片描述
  • 充分条件实际上是对 W W W 的一个约束条件，但是由于 PF特征值 是个非凸函数，进一步把它改成更严格的对无穷诱导范数 ∥ W ∥ ∞ \|W\|_{\infty} ∥W∥∞​ 的约束，然后用投影梯度法来求解带约束的优化问题
    在这里插入图片描述
  • Perron-Frobenius 定理
    每个非负方阵 M M M 都有一个实的非负特征值，该值在 M M M 的所有特征值中具有最大的模. M M M 的该非负特征值称为 Perron-Frobenius 特征值

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5903
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
A Comprehensive Survey on Graph Neural Networks(图神经网络综合研究)
weixin_41697507的博客
07-06 7799
A Comprehensive Survey on Graph Neural Networks Zonghan Wu, Shirui Pan, Member, IEEE, Fengwen Chen, Guodong Long, Chengqi Zhang, Senior Member, IEEE, Philip S. Yu, Fellow, IEEE Abstract—Deep learning ...
对人工神经网络的隐式行为进行可视化
36大数据
09-05 781
作者：Fan Hong 在许多机器学习任务中，人工神经网络尤其是近些年发展起来的深度学习网络，已经取得了十分瞩目的结果。然而，以前研究者往往将神经网络的内部行为当作黑盒来看待，神经网络到底学习到了什么并不了解。近些年来，研究者们逐渐开始关注这一问题，并通过了解其内部行为来帮助优化模型。而这篇工作则是从可视化的角度出发来对待这个问题。 为了理解这篇工作的内容，我们首先需要对神经网络有一定的了解。
Implicit Neural Representations with Periodic Activation Functions
MTandHJ的博客
10-07 953
文章目录概主要内容初始化策略其它的好处 Sitzmann V., Martel J. N. P., Bergman A. W., Lindell D. B., Wetzstein G. Implicit neural representations with periodic activation functions. Advances in Neural Information Processing Systems (NIPS), 2020. 概 本文提出用sin⁡\sinsin作为激活函数, 并分析
2023-ICCV-隐式神经网络实现低光照图像增强（NeRCo）论文解读+代码解析
weixin_45595504的博客
05-09 2992
NeRCo()提出了一种名为NeRCo的隐式神经表示方法，用于合作式低光图像增强。现有的低光图像增强方法存在以下三个限制：不可预测的亮度降低和噪声、度量友好版本和视觉友好版本之间的固有差距，以及有限的配对训练数据。为了解决这些限制，论文提出了NeRCo方法，它以无监督的方式稳健地恢复感知友好的结果。具体而言，NeRCo通过一个可控的拟合函数统一了现实场景中多样的退化因素，从而提高了鲁棒性。对于输出结果，论文引入了来自预训练视觉-语言模型的先验信息，采用语义导向的监督方法。
在神经网络中隐藏神经网络： On Hiding Neural Networks Inside Neural Networks
weixin_48654804的博客
09-14 530
On Hiding Neural Networks Inside Neural Networks https://arxiv.org/abs/2002.10078v3 本文提出了一种新颖的隐写方式，在神经网络中隐藏一个神经网络。神经网络所包含的参数往往比训练数据更多，过剩的参数量给信息隐藏提供了天然的土壤。神经网络拥有千万级甚至上亿的数据量，也就导致其参数的可能取值非常非常多，参数空间非常非常大。多任务的实质就是：优化获得分别满足各个任务的性能要求的参数空间的交集。 本文也可以看成是一个多任务学习，满足原始
【索引】Implicit Graph Traversal
不慌不忙、不急不躁
08-31 1251
AOAPC I: Beginning Algorithm Contests (Rujia Liu)                 Volume 3. Brute Force::Implicit Graph Traversal 10603 - Fill10422 - Knights in FEN10085 - The most distant state310 -
2021_WSDM_Pre-Training Graph Neural Networks for Cold-Start Users and Items Representation
weixin_46645827的博客
02-02 2385
[论文阅读笔记]2021_WSDM_Pre-Training Graph Neural Networks for Cold-Start Users andItems Representation 论文下载地址： https://doi.org/10.1145/3437963.3441738 发表期刊：WSDM Publish time: 2021 作者及单位: Bowen Hao Renmin University of China jeremyhao@ruc.edu.cn Jing Zhang∗ Ren
推荐系统综述-Graph Neural Networks in Recommender Systems A Survey-ACM‘2022
欢迎来到三水编程的博客
12-29 1373
推荐系统综述-Graph Neural Networks in Recommender Systems A Survey-ACM'2022
A Comprehensive Survey on Graph Neural Networks--图神经网络综合研究
m0_44967199的博客
01-13 4415
现阶段研究现状 近年来，从图像分类到视频处理再到语音识别和自然语言处理，深度学习已经变革了多项机器学习的任务。这些任务中的数据通常表示在欧几里得空间中。然而，越来越多的应用使用非欧几里得域生成的数据，并将它们表示为具有复杂关系和相互依赖的关系图。虽然图数据的复杂性对现有的机器学习的算法提出了重大的挑战，但最近许多研究开始将深度学习方法扩展到图数据。 本文综述了数据挖掘和机器学习领域中的图神经网络（...
ImplicitGraphs.jl：隐式定义的图（可能是无限的）
02-12
隐式图 ImplicitGraph是一种图形，其中的顶点和边由两个函数隐式定义：一个用于测试顶点隶属关系，另一个用于返回顶点（外）邻居的列表。 ImplicitGraph的顶点集可以是有限的，也可以是（隐含的）无限的。 但是，（输出）度必须是有限的。 创建图 ImplicitGraph定义如下： ImplicitGraph {T} (has_vertex, out_neighbors) 哪里 T是顶点的数据类型。 has_vertex(v::T)::Bool是一个函数，它将T类型的对象作为输入，如果v是图形的顶点，则返回true 。 out_neighbors(v::T)::Vector{T}是一个函数，将类型T对象作为输入，并返回v的（外）邻居的列表。 例如，以下代码创建一个（基本上）无限路径，其顶点为整数（另请参见iPath函数）： yes (v :: Int ) ::
隐式神经表示一：神经网络拟合图像Implicit Neural Representations with Periodic Activation Functions
tony365的博客
11-16 7118
就是说用一个神经网络表示一个函数。隐式神经表示（Implicit Neural Representations）是指通过神经网络的方式将输入的图像、音频、以及点云等信号表示为函数的方法[1]。对于输入x找到一个合适的网络F使得网络F能够表征函数Φ由于函数Φ是连续的，从而使得原始信号是连续的、可微的。这么干的好处在于，可以获取更高效的内存管理，得到更加精细的信号细节，并且使得图像在高阶微分情况下仍然是存在解析解的，并且为求解反问题提供了一个全新的工具。
概述：隐式神经表示（Implicit Neural Representations，INRs）
热门推荐
本博客主要总结计算机视觉（三维人体重建）方向的相关知识，同时发布个人见解以及领域进展！
09-01 2万+
本文主要概述了隐式神经表示的相关内容，主要倾向于三维重建的应用。同时对隐式表示做了一个展开阐述。
ICLR 2020 开源论文 | 隐空间的图神经网络：Geom-GCN
Paper weekly
01-09 2156
作者丨纪厚业学校丨北京邮电大学博士生研究方向丨异质图神经网络及其应用引言图神经网络（Graph Neural Network）已经成为深度学习领域最热⻔的方向之一。作为经典的 Messa...
神经网络 前景 背景_加州伯克利博士：基于隐模型的图神经网络设计 | NeurIPS 2020论文分享...
weixin_34536454的博客
01-31 343
近年来，人们对深度学习方法在图上的扩展越来越感兴趣。在多方因素的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图数据的神经网络结构，由此出现了一个新的研究热点——“图神经网络(Graph Neural Networks，GNN)”。图神经网络在计算机视觉、基于图的推荐系统、交通路线规划、化学分子的图结构等等领域有着广泛的应用前景。但是现有的图神经...
隐式神经表示二：超分网络学习傅里叶系数Local Texture Estimator for Implicit Representation Function
tony365的博客
11-16 3342
将上面的结果，与双线性插值的 upscale LR 相加, 得到最后的结果，因此解码器输出的可以当作是。一个典型的隐式表示方法作超分：隐式体现在 不是 直接拟合图像，二十首先提取特征，再根据特征估计目标。接下来，就是根据 幅度，频率，相位得到 傅里叶表示，后续会输入 解码器。首先根据输入的坐标 找到 最近邻的4个坐标，利用了循环，目的是求。双线性插值得到网络的结果， areas是双线性插值的系数。可以理解为，输入一个坐标，利用 1）最近的4个点的特征。是encoder的输出，可以理解为提取的图像特征。
基于隐式神经网络表达的数据压缩
Kenji_Shinji的博客
10-20 1548
通过运用元学习方法，基于INR的数据压缩算法在压缩效率大大提升。在问题一的探讨中提到，INR模型可以分为基模型和调制模型，其中基模型的训练是离线进行，调制模型的训练是基于压缩的目标数据进行的权重微调过程，是在线进行。首先，INR模型的大小、结构、训练难度是与信息复杂度成正比，而非原数据的分辨率，这使得时空相关性强的数据能够得到卓越的压缩效果，达到极致的去除冗余信息的效果，其次， INR模型在被解压时，输入采样点可控制解压后数据的分辨率，用户可以自由的进行数据的部分解压、低分辨率解压、甚至是超分辨率解压。
神经隐式表示（Neural Implicit Representations, NIR）
weixin_58349913的博客
12-18 2748
神经隐式表示（Neural Implicit Representations, NIR）是一种基于神经网络的方法，用于表示和重建复杂的几何形状、物体表面、场景等。与传统的显式几何表示（如网格、点云、体素等）不同，神经隐式表示通过神经网络学习数据的隐式表达，通常是通过一个连续函数来表示形状、纹理或场景等的特征。
隐式神经表示
qq_44708206的博客
11-22 2368
隐式神经表示
implicit neural representation
最新发布
12-09
由于提供的引用内容中未涉及隐式神经表示的相关信息，下面将结合专业知识介绍隐式神经表示的原理、应用和研究进展。 ### 原理 隐式神经表示（Implicit Neural Representations, INRs）是一种利用神经网络来表示连续信号（如图像、音频、3D 形状等）的方法。其核心思想是将输入空间（例如图像的像素坐标、3D 空间中的点坐标）映射到输出空间（例如像素的颜色值、3D 点的密度值）。具体而言，INRs 使用一个神经网络，输入是连续空间中的坐标，输出是该坐标处的属性值。通过训练这个神经网络，使其能够学习到输入空间和输出空间之间的映射关系，从而实现对连续信号的隐式表示。例如，对于一张图像，输入可以是图像中每个像素的二维坐标，输出则是该像素的 RGB 颜色值。 ### 应用 - **计算机图形学**：在 3D 建模和渲染中，隐式神经表示可以用于表示复杂的 3D 形状，如人体、动物等。与传统的显式表示方法（如多边形网格）相比，INRs 能够更自然地处理形状的细节和变形，并且可以实现更高质量的渲染效果。 - **图像处理**：INRs 可以用于图像超分辨率、图像编辑和图像生成等任务。通过学习图像的隐式表示，神经网络可以生成高分辨率的图像，或者对图像进行修改和合成。 - **音频处理**：在音频领域，隐式神经表示可以用于音频合成、音频降噪和音频特征提取等任务。将音频信号表示为连续的函数，能够更好地捕捉音频的时域和频域特征。 ### 研究进展 近年来，隐式神经表示在学术界和工业界都受到了广泛的关注。研究人员不断探索如何改进 INRs 的性能和效率，例如提出了新的网络架构、优化算法和训练策略。同时，INRs 的应用领域也在不断扩展，涉及到医学成像、机器人感知、虚拟现实等多个领域。一些研究还将隐式神经表示与其他深度学习技术相结合，如生成对抗网络（GANs）和变分自编码器（VAEs），以实现更强大的功能。 ```python # 以下是一个简单的隐式神经表示的代码示例（用于图像表示） import torch import torch.nn as nn # 定义一个简单的神经网络 class INR(nn.Module): def __init__(self, input_dim=2, output_dim=3, hidden_dim=256, num_layers=4): super(INR, self).__init__() layers = [] layers.append(nn.Linear(input_dim, hidden_dim)) layers.append(nn.ReLU()) for _ in range(num_layers - 2): layers.append(nn.Linear(hidden_dim, hidden_dim)) layers.append(nn.ReLU()) layers.append(nn.Linear(hidden_dim, output_dim)) self.model = nn.Sequential(*layers) def forward(self, x): return self.model(x) # 创建一个 INRs 实例 inr = INR() # 示例输入（图像坐标） input_coords = torch.randn(100, 2) # 100 个二维坐标 output = inr(input_coords) print(output.shape) # 输出形状应为 (100, 3) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

颹蕭蕭

白嫖？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值