人工智能中图神经网络GNN是什么?

因果关系发现中图神经网络的最新方法研究 因果关系发现是人工智能和统计学中的核心问题之一,它旨在从观测数据或实验数据中识别变量之间的因果结构。传统方法如PC算法、FCI算法等在简单场景下表现良好,但在处理高维、非线性、存在隐藏变量的复杂系统时面临挑战。近年来,图神经网络因其强大的关系建模能力,为因果关系发现提供了新的解决方案。图神经网络在因果关系发现中的理论基础最新算法原理和技术实现实际应用案例和性能评估当前挑战和未来研究方向。 阅读详情

编辑:Sophia-计算机视觉联盟

转载于 :机器之心

在社交网络分析等一些应用中,图神经网络已经得到了广泛的应用。新加坡科技研究局(A*STAR)的研究者 Rishabh Anand 近日通过图解的方式介绍了图与图神经网络的基本概念,或许能帮助初学者更直观地理解图神经网络的内涵和价值。此外,为了满足读者们对图神经网络的学习需求,机器之心联合极验团队向读者们赠送 20 本《深入浅出图神经网络:GNN 原理解析》,欢迎大家积极留言获得赠书。

2942d7da63e5d7c9ea74454ce29be848.png

图深度学习(Graph Deep Learning,GDL)是一个很有发展前景的研究领域,基于图数据来学习和分析非常有用。本文将介绍简单图神经网络(GNN)的基础知识及其内在工作原理背后的直观知识。不过,大家不用担心,为了能够更直观地看懂究竟发生了什么,作者在文中使用了大量彩图给出图解信息。

图(Graph)是什么?

图是一种由连接在一起的节点(顶点)和边构成的数据结构,可用于表示没有明确起点或终点的信息。所有节点都可占据空间中的任意位置,当用二维或多维空间绘制图的结构时,具有相似特征的节点通常会聚集到一起。

cfdbae66313213696d25c904d5cbf1bd.png

这就是一个图,由一群分别表示实体的互连节点构成。

边上面的黑色尖头表示节点之间的关系类型,其可表明一个关系是双向的还是单向的。图有两种主要类型:有向图和无向图。在有向图中,节点之间的连接存在方向;而无向图的连接顺序并不重要。有向图既可以是单向的,也可以是双向的。

图可以表示很多事物——社交网络、分子等等。节点可以表示用户/产品/原子,而边表示它们之间的连接,比如关注/通常与相连接的产品同时购买/键。社交网络图可能看起来像是这样,其中节点是用户,边则是连接:

fb3f25b0d766e5705cfe55a8c00e5f33.png

节点表示用户,边则表示两个实体之间的连接/关系。真实的社交网络图往往更加庞大和复杂!

接下来作者会介绍一些概念,如循环单元、嵌入向量表征和前馈神经网络。知道一些有关图论的知识(比如什么是图以及图的形态)也很不错。

有些术语你可能并不熟悉。不用担心!对于那些让人疑惑的术语,作者都尽力链接了他可以找到的最靠谱的解释,能让你理解所涉概念的基本含义。基于此,你还能进一步了解这些概念,同时还能理解它们在图神经网络中所发挥的作用。

了解图神经网络

每个节点都有一组定义它的特征。在社交网络图的案例中,这些特征可以是年龄、性别、居住国家、政治倾向等。每条边连接的节点都可能具有相似的特征。这体现了这些节点之间的某种相关性或关系。

假设我们有一个图 G,其具有以下顶点和边:

828a2a154edf45f02ca4a0002b9bd25a.png

这个图与上图是一样的。

为了简单起见,我们假设其特征向量是当前节点的索引的 one-hot 编码。类似地,其标签(或类别)可设为节点的颜色(绿、红、黄)。那么这个图看起来会是这样:

43a16ed1a46f165db0c1219918e3eb63.png

节点的顺序其实并不重要。

注:在实际运用中,尽量不要使用 one-hot 编码,因为节点的顺序可能会非常混乱。相反,应该使用可明显区分节点的特征,比如对社交网络而言,可选择年龄、性别、政治倾向等特征;对分子研究而言可选择可量化的化学性质。

现在,我们有节点的 one-hot 编码(或嵌入)了,接下来我们将神经网络引入这一混合信息中来实现对图的修改。所有的节点都可转化为循环单元(或其它任何神经网络架构,只是我这里使用的是循环单元);所有的边都包含简单的前馈神经网络。那么看起来会是这样:

5496bb0afd73c0e5a6cdfb8069e43861.png

其中的信封符号只是每个节点的 one-hot 编码的向量(嵌入)。

消息传递

一旦节点和边的转化完成,图就可在节点之间执行消息传递。这个过程也被称为「近邻聚合(Neighbourhood Aggregation)」,因为其涉及到围绕给定节点,通过有向边从周围节点推送消息(即嵌入)。

注:有时候你可为不同类型的边使用不同的神经网络,比如为单向边使用一种神经网络,为双向边使用另一种神经网络。这样你仍然可以获取节点之间的空间关系。

就 GNN 而言,对于单个参考节点,近邻节点会通过边神经网络向参考节点上的循环单元传递它们的消息(嵌入)。参考循环单位的新嵌入更新,基于在循环嵌入和近邻节点嵌入的边神经网络输出的和上使用循环函数。我们把上面的红色节点放大看看,并对这一过程进行可视化:

647965f9e02edc05ddc36e866302ed93.png

紫色方块是一个应用于来自近邻节点的嵌入(白色信封)上的简单前馈神经网络;红色三角形是应用于当前嵌入(白色信封)和边神经网络输出(黑色信封)之和上的循环函数,以得到新的嵌入(最上面的白色信封)。

这个过程是在网络中的所有节点上并行执行的,因为 L+1 层的嵌入取决于 L 层的嵌入。因此,在实践中,我们并不需要从一个节点「移动」到另一节点就能执行消息传递。

注:边神经网络输出(黑色信封)之和与输出的顺序无关。

最后的向量表征有什么用?

执行了几次近邻聚合/消息传递流程之后,每个节点的循环单元都会获得一组全新的嵌入。此外,经过多个时间步骤/多轮消息传递之后,节点对自己和近邻节点的信息(特征)也会有更好的了解。这会为整个图创建出更加准确的表征。

要进一步在该流程的更高层面上进行处理或者只是简单地表征该图,你可以将所有嵌入加到一起得到向量 H 来表示整个图。

使用 H 比使用邻接矩阵更好,因为不管怎样对图进行扭转变形,这些矩阵都并不表征图的特征或独特性质——只是节点之间的边连接(这在某些情形下并不是很重要)。

总结一下,我们将所有节点循环单元的最终向量表征加到一起(当然,与顺序无关),然后使用所得到的向量作为其它工作过程的输入或简单地将其用于表征该图。这个步骤看起来如下图所示:

e9966e512178332d5cecc512260ce15a.png

这是经过 n 次重复消息传递之后带有已完全更新的嵌入向量的最终图。你可以将所有节点的表。征加到一起得到 H。

四步骤助你实现图神经网络

GNN 用起来相当简单。事实上,实现它们涉及到以下四个步骤:

  1. 给定一个图,首先将节点转换为循环单元,将边转换为前馈神经网络;

  2. 接着为所有节点执行 n 次近邻聚合(也就是消息传递);

  3. 然后再在所有节点的嵌入向量上求和以得到图表征 H;

  4. 最后可以完全跳过 H 直接向更高层级进发或者也可使用 H 来表征该图的独有性质。

小结

现在我们清楚地了解图神经网络的运行方式了。得益于 GNN 在图节点之间依赖关系进行建模的强大性能,它在社交网络、知识图谱和推荐系统方面都有广泛的应用。以社交网络图为例,GNN 在内容推荐方面表现很好。举个例子,当一个用户关注另一个政治倾向相似的用户时,GNN 可用于节点分类,以预测是否可将网站上的特定内容发送到上述用户的新闻流;当 GNN 用于「推荐关注」时,系统可以考虑用户所在的行业,再提供潜在的连接——边分类。

图深度学习其实非常有趣。本文的亮点在于使用一些可视化图介绍了图神经网络的基础概念,但如果想要透彻地了解 GNN,大家最好自己写代码实现看看。

觉得还不错就给我一个小小的鼓励吧!
结构化数据+GNN实战指南:从理论到特征提取 图神经网络(GNN)因其分析图结构数据的能力而收到了不小的关注。本文将对图神经网络进行简要介绍,不仅包含不同形式的图神经网络及其原理、应用还包含了图论基础,让大家可以轻松理解图及图分析中的问题。首先,我们需要了解什么是图。图是由顶点(节点)和边组成的数据结构,用于作为数学结构来分析对象与实体之间的成对关系。通常,图被定义为G=(V, E),其中V是节点集合,E是节点之间的边。一个简单的图表图常用邻接矩阵A表示,如果图有N个节点,则A的维度为(NxN)。 阅读详情

相关推荐

不确定性推理中图神经网络的鲁棒性研究

不确定性推理在许多领域,如医疗诊断、金融风险评估和自动驾驶等,都具有至关重要的作用。图神经网络作为一种强大的工具,能够处理图结构数据,在不确定性推理中展现出巨大的潜力。然而,图神经网络在面对数据中的不确定性和干扰时,其性能可能会受到严重影响。因此,本研究的目的是深入探讨不确定性推理中图神经网络的鲁棒性,分析影响鲁棒性的因素,并提出相应的改进方法。本研究的范围涵盖了图神经网络的基本原理、不确定性推理的常见方法、鲁棒性的评估指标和提升策略。

AI 领航者的博客 759

图神经网络(GNN)简介

深度学习与图神经网络 近年来,人工智能与深度学习在各个领域得到了长足的发展。从最先掀起这轮深度学习浪潮的计算机视觉(Computer Vision)领域,到亦备受关注的自然语言处理(Natural Language Processing)、数据挖掘(Data Mining)领域,再到各个专门领域,如生物信息(图1)、游戏博弈(图2)等,人工智能正日益展露锋芒。 ![图1 AlphaFold,用于蛋白质结构预测 人工智能与深度学习取得如此进展的最大驱动力可以被总结为以下两点[1]: 数据可用性的增强。随着

Forskamse's Blog 2748

神组合:GNN+Transformer!新成果霸榜CVPR

AI科研灵感致力于成为您在人工智能领域的领航者,定期更新人工智能领域的重大新闻与最新动态,和您一起探索AI的无限可能。立即关注我们,开启您的AI学习之旅!

Aimoxin111的博客 1583

什么是图神经网络GNN?

简单介绍什么是图神经网络GNN

qq_44452377的博客 3万+

时空知识图谱推理中图神经网络的前沿技术

时空知识图谱推理是一个融合了时间、空间和知识图谱信息的复杂领域,其目的在于通过挖掘时空知识图谱中的潜在信息,实现对未知事实的推理和预测。图神经网络作为一种强大的深度学习模型,能够有效地处理图结构数据,在时空知识图谱推理中展现出巨大的潜力。本文的范围主要涵盖时空知识图谱推理中图神经网络的前沿技术,包括核心概念、算法原理、实际应用等方面,旨在为读者提供全面而深入的技术理解。本文将按照以下结构进行组织:首先介绍时空知识图谱和图神经网络的核心概念及它们之间的联系;

AI 原生应用开发的博客 814

动态知识图谱推理中图神经网络的创新

动态知识图谱推理是人工智能领域的一个重要研究方向,它旨在从动态变化的知识图谱中挖掘出有价值的信息和知识。知识图谱是一种以图的形式表示实体及其之间关系的结构化数据,而动态知识图谱则考虑了知识图谱随时间的变化。图神经网络作为一种强大的深度学习模型,能够有效地处理图结构数据。本研究的目的是探讨图神经网络在动态知识图谱推理中的创新应用,分析其核心算法、数学模型和实际应用场景。范围涵盖了从基础概念到实际项目的各个方面,包括算法原理的讲解、代码实现、应用案例分析等。本文共分为十个部分。

AI Python 编程之道的博客 319

图神经网络的输入和输出

分析:图神经网络,输入一张图,经过很多层很多层神经网络的运算,最终得到每个节点的d维向量,这个向量称为嵌入向量,得到每个节点的嵌入向量之后,就可以运行各种各样的预测任务了,节点分类,连接预测,社群聚类,全图的分类,都可以由每个节点的向量进行后续的构建下游任务。分析:图神经网络其实就是在进行表示学习,也叫图嵌入、节点表示学习。本质:图神经网络本质上就是。

qq_34425255的博客 1327

不确定性推理中图神经网络的鲁棒性增强

在当今复杂的现实世界中,数据往往伴随着各种不确定性,例如数据的缺失、噪声以及数据之间关系的模糊性等。图神经网络(Graph Neural Networks,GNN)作为一种强大的工具,能够处理图结构数据,在社交网络分析、生物信息学、交通流量预测等众多领域取得了显著的成果。然而,在不确定性推理的场景下,图神经网络的性能可能会受到严重影响,表现出鲁棒性不足的问题。本文的目的在于深入研究如何增强不确定性推理中图神经网络的鲁棒性。

SuperAGI2025 949

神经网络入门

神经网络入门:读别人文章记录 通过一个简单分类任务来进行描述: 两层神经网络 上面可能会有点复杂,进行简单分析 去掉上面图一当中一些难懂的东西,简化变成下图: 输入层 从输入层到隐藏层 从隐藏层到输出层 分析 激活层 三种常见的激活函数: 1、阶跃函数:当输入小于等于0时,输出0;当输入大于0时,输出1。 特点:阶跃函数输出值是跳变的,且只有二值,较少使用。 2、Sigmoid:当输入趋近于正无穷/负无穷时,输出无限接近于1/0。 特点:Sigmoid函数在当x的绝对值较大时,曲线的斜率变

毕业才是起点 1772

【深度强化学习】(2) Double DQN 模型解析,附Pytorch完整代码

Double DQN 算法是 DQN 算法的改进版本,解决了 DQN 算法过估计行为价值的问题。Double DQN 算法不直接通过最大化的方式选取目标网络计算的所有可能 Q 值,而是首先通过估计网络选取最大 Q 值对应的动作。在 Double DQN 框架中存在两个神经网络模型,分别是训练网络与目标网络。这两个神经网络模型的结构完全相同,但是权重参数不同;每训练一段之间后,训练网络的权重参数才会复制给目标网络。

博观而约取,厚积而薄发 1万+

三菱RJ71EIP91与SYSMAC Gateway通讯配置

三菱RJ71EIP91与SYSMAC Gateway通讯配置

zhang1270的博客 1531

图神经网络笔记(一)

图是一种数据结构,它对一组对象(节点)及其关系(边)进行建模。近年来,由于图结构的强大表现力,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN 最近已成为一种广泛应用的图分析方法。 为什么有图卷积神经网络 本质上说,世界上所有的数据都是拓扑结构,也就是网络结构,如果能够把这些网络数...

Messi-Q Blog 7491

VSCode搭配Keil开发STM32:从环境配置到代码跳转全流程(避坑指南)

本文详细介绍了如何使用VSCode搭配Keil进行STM32开发,从环境配置到代码跳转的全流程指南。通过安装必备插件和正确配置项目文件,开发者可以在VSCode中享受现代编辑器的便捷功能,同时保留Keil的编译调试能力,提升嵌入式开发效率。

weixin_28832121的博客 253

[论文阅读笔记15]GNN在多目标跟踪中的应用

GNN简单来讲, 旨在通过融合顶点和边的特征进而提取出图(Graph)中的信息. 一个直觉的想法是, 在MOT中, 我们可以用顶点表示目标的特征, 边表示目标之间的关系, 进而一个构成的图就可以作为解决关联问题的一个很好的入口, GNN就可以成为解决问题的工具.我想总结几篇经典的利用GNN做MOT的文献. 力争持续更新.解决Offline的MOT问题, 主流是依靠最小(大)流算法. 这篇文章本质上利用GNN来对最小流算法进行求解.摘要中说, MOT方法大家热衷于研究特征提取的策略, 然而本篇文章主要针对数据

wjpwjpwjp0831的博客 5900

机械臂TCP标定实战:从四点法到六点法的精度跃迁

本文详细解析机械臂TCP标定技术,从基础的四点法到高精度的六点法实现精度跃迁。通过工具坐标系与基坐标系的转换原理,结合实战案例展示六点法如何将装配合格率提升至99.5%,并分享环境控制、操作技巧等提升标定精度的关键要素。

weixin_29038345的博客 901

Cursor插件安装CodeX保姆级教程:从登录到调整面板布局,一步不落

本文提供Cursor编辑器安装CodeX插件的详细教程,涵盖从登录到调整面板布局的全流程。通过优化界面布局和配置参数,帮助开发者提升编码效率,特别适合需要智能代码补全的编程场景。

weixin_42648844的博客 4788

【GNN】图神经网络学习小结 and 笔记汇总

1.资源推荐 Hands-on Graph Neural Networks with PyTorch & PyTorch Geometric

发现问题,并解决问题,批判性思维 2058

MATLAB代码实现了一个柱塞泵配流盘过流面积的计算和可视化功能

该MATLAB代码实现了一个柱塞泵配流盘过流面积的计算和可视化功能。输出曲线可直接用于验证设计的合理性(如是否存在过流面积突变或不足)。的不同范围,选择对应的几何模型计算过流面积。通过分段逻辑计算柱塞腔在不同旋转角度(过流面积在特定条件下会被限制(如。),确保结果符合物理实际。条件分支,根据旋转角度。

huanghm88的专栏 585

深度学习(36)—— 图神经网络GNN(1)

图神经网络 基础知识篇 club俱乐部数据demo

羊羊的博客 2100

Claude Code 从入门到精通,通过实战项目穿插 Agent Skills、MCP、Hooks、子代理、插件等十五个知识点

本文介绍了Claude Code的高级使用技巧,通过一个个人简历网站实战项目,详细讲解了15个核心知识点。主要内容包括:三种权限模式(默认/编辑/计划)的使用与切换;历史会话管理(/resume、/rename、/clear命令);会话回滚功能(/rewind);以及危险参数--dangerously-skip-permissions的注意事项。文章还演示了如何通过计划模式拆分代码文件,并强调了在复杂任务中仔细检查规划步骤的重要性。这些技巧能帮助开发者更高效地使用Claude Code完成项目开发。

1794

【BlueDroid】【BLE】低功耗蓝牙客户端和服务端开发流程解析(超详细)

1. 精讲):SPP/A2DP/AVRCP/HFP/PBAP/IAP2/HID/MAP/OPP/PAN/GATTC/GATTS/HOGP等协议理论2. 欢迎大家关注和订阅,和专栏会持续更新中.....敬请期待!

风云说通信 1928

用于结构化数据分析的图神经网络(GNN)简介!

其中,l_n、l_co、x_ne、l_ne分别表示当前节点[n]的特征、节点[n]的边、相邻节点的状态以及相邻节点的特征。它无非就是我们常用的两层全连接层结构,但在这个场景下,它实现了图卷积的功能,下面将解释为什么它能执行图卷积。GNN的直观理解是,节点由其邻居和连接自然定义,为了理解这一点,我们可以简单地想象,如果我们移除一个节点周围的邻居和连接,那么该节点将丢失所有信息。不难看出,结果是[节点1]所有特征(包括[节点1]自身的特征)的和,而[节点4]的特征并未包含在内,因为它不是[节点1]的邻居。

Gupao123的博客 999

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

因果关系发现中图神经网络的创新方法

因果关系发现是机器学习和统计学领域的一个关键问题,其目的是从数据中识别变量之间的因果关系,而不仅仅是相关性。图神经网络作为一种强大的工具,能够处理图结构数据,在因果关系发现中展现出了巨大的潜力。本文的目的是介绍因果关系发现中图神经网络的创新方法,涵盖核心概念、算法原理、数学模型、项目实战、实际应用场景等多个方面,为研究人员和开发者提供全面的参考。本文将按照以下结构进行组织:首先介绍因果关系发现和图神经网络的核心概念及其联系;接着详细阐述核心算法原理和具体操作步骤,并用 Python 代码进行说明;

AI 领航者的博客 468

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

​一文梳理ICML 2022中图机器学习热点和趋势

©作者 |Mikhail Galkin,Zhaocheng Zhu译者 |Zhaocheng Zhu单位 |Mila研究所/麦吉尔大学/蒙特利尔大学研究方向 |图机器学习,知识图谱每年 ICML 都汇集了全球顶级 AI 研究者们的不少工作。在刚过去的 ICML 2022 中,我们看到了上百篇图机器学习相关的工作,以及不少相关的 Workshop [1]。在此,我们和大家来分享一下当下图机器...

Paper weekly 3596

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

双热点新突破:GNN-Transformer超越传统起飞!

GNN-Transformer融合模型的核心在于利用Transformer的自注意力机制增强GNN的全局信息聚合能力,同时通过GNN的图结构归纳偏置提升Transformer在处理非欧几里得数据时的效率。例如,Graph Transformer通过将节点特征和边特征嵌入到Transformer的输入序列中,实现了对图结构数据的端到端学习;而Graph-BERT则通过引入图感知的位置编码和节点上下文采样策略,进一步优化了Transformer在图数据上的表现。

m0_59235699的博客 2014
上一篇: 2022 年会是 Linux 桌面元年吗?本文与你娓娓道来
下一篇: 当代研究生应当掌握的5种Pytorch并行训练方法(单机多卡)
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值