几何图神经网络GNN：数据结构、模型与应用

1 介绍

本文重点在于几何图神经网络（GNNs）的方法和应用。介绍了必要的预备知识、几何GNNs作为通用数据结构在现实世界数据和模型之间的桥梁，以及现有的模型分类和成功应用。提供了全面的概述，包括数据结构、模型设计和应用，构成一个完整的输入-输出管道，对机器学习从业人员在各种科学任务上使用几何GNNs具有指导意义。同时讨论了未来前景和有趣的研究方向，并发布了相关资源。

图1 几何图神经网络与传统方法在分子性质预测、蛋白质-配体对接和抗体设计方面的性能比较。

图2 数据结构、模型到应用的全流程示例

2 对称性的基本概念

2.1 转换和组

对称性定义了一个对象在一定变换下保持不变的属性。例如，空间中两点间的距离不受旋转或移动的影响。在数学上，这些变换构成了一个群，具体细节参见[58]。

群是一种变换的集合，具有二元运算，满足封闭、结合、单位元和逆元等性质。常见的应用例子包括欧几里得群、仿射群、特殊的仿射群、欧几里得群和Lie群等。群也被称为置换群，其元素是对给定集合元素的置换。

2.2 群表示

群运算可以用矩阵乘法来实现，欧几里得群O(d)和SO(d)的表示由欧几里得矩阵定义，翻译群T(d)可以通过仿射空间使用齐次坐标来推导。群的表示不是唯一的。

2.3 等方差和不变性

函数ϕ在输入向量空间X和输出向量空间Y之间被称为G-同态，当它与G中的任何变换相容时。通过实现群运算·和群表示，可以将公式重写为ϕ(ρX(g)x)=ρY(g)ϕ(x)，其中ρX和ρY分别是输入和输出空间中的群表示。等方差诱导了以下令人满意的特点，包括线性性、可组合性和继承性。在GNN中，函数ϕ被设计为不变或同态的。

3 数据结构：从图到几何图

本节定义并描述了图和几何图之间的差异。表1总结了本文中使用的符号。

表1 本调查中使用的各种基本符号和定义

3.1 图

图被定义为G=(A,H)，其中A是邻接矩阵，H是节点特征矩阵。从图中可以衍生出节点集合V和边集合E等重要概念。此外，图还可以包含边特征。图变换可以通过改变节点的顺序而不改变图的拓扑结构来实现，这种变换被表示为g·G=(PgAPg⊤,PgH)。在AIDD领域，分子可以被视为图，其中节点是原子，节点特征是原子数的独热编码，边是化学键的存在或基于原子之间的相对距离构建，边特征可以是化学键的类型和/或相对距离。

3.2 几何图

几何图形定义为⃗G := (A, H, ⃗X)，其中A是邻接矩阵，H是节点特征矩阵，⃗X是所有节点的三维坐标。几何图形的变换包括置换、正交变换（旋转和反射）和平移。这些变换可以帮助我们更全面地了解整个系统在三维空间中的配置，利用诸如邻近节点的相对方向和速度等方向量等重要信息。几何图形在科学任务中建模各种对象，如小分子、蛋白质、晶体、物理点云等，是一种强大而通用的工具。

图3 几何图形上的变换示例

4 模型：几何GNN

本节首先回顾了拓扑图上的消息传递神经网络（MPNN）的一般形式，然后介绍了能够处理几何图的三种几何GNN：不变GNN、同态GNN以及几何图变换器。最后，本文简要介绍了讨论几何GNN表达能力的相关工作，并在图4中展示了几何GNN的分类。

图4 第4节中介绍的几何GNN分类学

表2 不变性图神经网络、基于标量化的图神经网络和高阶可导向图神经网络的代表性模型示意图

4.1 消息传递神经网络

图神经网络通过消息传递机制在图结构上传播信息，通过迭代消息传递过程实现拓扑图上的信息传播。节点特征和边特征由消息函数合成，邻居中的消息通过聚合函数更新节点特征。GNNs具有排列同态性，但不具有内在的E(3)-同态性。本文主要讨论后者。

4.2 不变图神经网络

在几何域中，处理欧几里得变换不变的任务需要提出许多模型，如分子属性预测。不变图神经网络通过更新不变特征来处理这些问题，近年来在消息传递机制上进一步发展。这些模型的设计都是为了嵌入欧几里得变换不变的归纳偏置，以更好地处理几何域中的任务。SphereNet是一种流行的3D图神经网络模型，利用相对距离、角度和扭曲角度进行几何建模，ComENet是一个高效整合3D信息的模型，通过1跳邻居的消息传递来确保全球完整性。

4.3 等变图神经网络

等变图神经网络同时更新不变特征和等变特征，具有更强的表达能力，特别是在稀疏几何图上。目前实现等变GNNs的具体形式有标量化模型和高阶可调模型两种。基于标量化的模型将 3D 坐标转换为不变标量，通过恢复处理标量的方向来更新等变特征，而高阶可调模型使用更高阶的旋转表示和球谐函数来扩展等变 GNN 的能力，使其能够处理更复杂的几何图形。

4.4 几何图Transformers

几何图Transformers，它是一种将Transformer架构应用于几何图形数据的方法，以处理更复杂的几何图形数据。这种方法在Graphormer、TorchMD-Net、SE(3)-Transformer、LieTransformer、GVP-Transformer、Equiformer、EquiformerV2、Geoformer和EPT等模型中得到了应用。

4.5 表达性的理论分析

在机器学习中，衡量网络表达性的一个重要标准是其是否具有通用近似性质。在几何图学习任务中，人们探索了各种方法来证明其通用性，如TFN、GemNet等。最近，GWL框架从区分几何图的角度定义了几何版本的Weisfeiler-Lehman测试来研究稀疏图上几何GNN的表达能力，并讨论了各种不变和共变GNN之间表达性的差异。标量化方法也被探索，证实了标量化方法可以普遍近似向量中的任何不变/共变函数。这些研究结果表明共变GNN相对于不变GNN具有优势。

5 应用

本文系统回顾了与几何图学习相关的应用，根据工作系统类型对现有方法进行分类，包括颗粒、小分子、蛋白质、分子+分子、分子+蛋白质、蛋白质+蛋白质和其他领域任务，如表3。文章总结了所有相关的单实例和多实例任务数据集，如表4和表5，并重点讨论了利用几何GNNs的方法，尽管其他方法如基于序列的方法在某些应用中可能适用。

表3 各种几何GN的任务概括。生成任务指的是可以通过生成模型解决的那些任务，否则被称为非生成任务。可以用生成模型或非生成模型解决的那些任务被称为混合任务。

表4 单实例应用典型数据集和基准的总结

表5 针对多实例应用所采用的典型数据集和基准的总结。

粒子领域的应用： 粒子用几何图表示，包括坐标节点、键边和粒子属性特征。几何图神经网络广泛应用于如N-body模拟等物理动力学过程。N-body系统能模拟从量子物理到天文的物理现象。其他例子包括更复杂物理场景的模拟。

分子领域的应用： 分子用几何图表示，涉及原子坐标、键和原子属性。几何图神经网络广泛应用于分子性质预测、分子动力学模拟等任务。

蛋白质领域的应用： 蛋白质的三维结构决定其功能。两种表示方法用于蛋白质的几何图：残基节点和原子节点。涉及的任务包括蛋白质性质预测、生成、预训练等。

分子与分子间的任务： 连接器设计涉及预测连接两个分子的小分子；化学反应任务预测分子间反应产物。

分子与蛋白质间的任务： 涉及配体结合亲和力预测、蛋白质-配体对接等。这些任务的输入是分子和蛋白质的几何图，输出是预测的几何图。

蛋白质-蛋白质相互作用的任务： 涉及界面预测、结合亲和力预测等。对称性保持和预测函数基于几何图神经网络。

其他领域任务： 包括晶体性质预测和RNA任务。晶体性质预测需捕捉周期性；RNA任务预测RNA二级结构。数据集包括Materials Project、JARVIS-DFT、ViennaRNA和RNA-Puzzles数据库。

6 讨论与未来展望

尽管在几何图谱领域已有显著进展，但仍有许多待探索的方向。例如，如何将基础模型如GPT和Gato的成功模式应用于几何领域，预训练出对各种下游任务有益的模型，同时处理多种输入数据和任务。

当前，该领域的数据集往往规模不足，仅通过独立数据集评估模型可能不够可靠。因此，需要实现模型预测和实验验证的闭环，例如GNoME的端到端管道，包括图网络训练、DFT计算以及自主实验室。

此外，与大型语言模型（LLM）集成也是重要趋势。LLM具备丰富的跨领域知识，特定领域语言模型代理（LMA）在特定领域表现出高水平。将这些知识与几何图神经网络（GNN）结合，有望提高GNN在科学应用中的性能和鲁棒性。

最后，同态性在提高数据效率和泛化方面重要，但过于坚持同态性原则可能限制模型性能。因此，研究如何在保持同态性和灵活性之间取得平衡具有重要意义，这可能丰富我们对模型行为的理解，为开发更强大、通用的解决方案奠定基础。

链接：A Survey of Geometric Graph Neural Networks: Data Structures, Models and Applications : arxiv.org/abs/2403.00485

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。