当我们说起神经网络的等变性，我们在谈论什么

最新推荐文章于 2025-09-17 16:22:10 发布
原创 最新推荐文章于 2025-09-17 16:22:10 发布 · 267 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #人工智能 #深度学习

本文介绍了在AIforScience技术中，神经网络如何应用于分子结构建模，特别是在满足物理对称性的等变性方面。Notebook提供了一个实践教程，涵盖等变性的概念、神经网络应用及其实现，以及优劣分析。

头图

在 AI for Science 技术已经颇为成熟的当下，神经网络被大量用于分子结构建模，成为了量子力学模拟、材料发现、药物设计、反应设计等等领域的一种新的范式。具体而言，这些神经网络往往以分子结构作为输入，预测分子势能、原子受力、分子毒性等等人们关心的性质。分子结构在本质上是三维欧氏空间的点云，这一输入有别于图像、文本，有着比较强的物理对称性约束。比如，当分子在真空中平移、旋转，分子的势能、受力也应该满足物理上的对称性。这对神经网络的架构设计提出了所谓等变性（equivariance）的新要求。

Notebook 上手实践

围绕“神经网络与等变性”这一主题，我们为你带来了本期 Notebook《当我们说起神经网络的等变性，我们在谈论什么》。在本期 Notebook 中，你可以了解到：

  1. 等变性的概念、分子体系中常见的等变性
  2. 神经网络与等变性的关系
  3. 等变性相关的基础数学概念
  4. 等变性在神经网络里的不同实现方式，以及它们的优劣

Notebook 链接：当我们说起神经网络的等变性，我们在谈论什么

图片

卷积神经网络中的平移等变性分析
3D视觉工坊
05-22 545
卷积神经网络（CNN）具有平移等变性的观点在某种程度上深入人心，但很少有人去探寻其原因或者理论根据。这篇文章将对这个问题进行系统地讲解，为后续进一步研究CNN的其他等变性和不变性设计夯实基础。介绍在机器学习中，我们通常关注模型的灵活性。我们希望知道选择的模型实际上能够完成我们想要的任务。例如，神经网络的通用逼近定理使我们相信神经网络可以近似任何所需精度的广泛类别的函数。但完全的灵活性也有缺点。虽然...
平移等变|不变性
Jiashilin
06-29 4254
平移等变|不变性（translation invariant） （局部）平移不变性是一个很有用的性质，尤其是当我们关心某个特征是否出现而不关心它出现的具体位置时。 参数共享（和池化）使卷积神经网络具有一定的平移不变性。这就意味着即使图像经历了一个小的平移，依然会产生相同的特征。例如，分类一个 MNIST 数据集的数字，对它进行任意方向的平移（不是旋转），无论最终的位置在哪里，都能正确分类。 ...
当我们说起神经网络的等变性，我们在谈论什么？
Paper weekly
09-07 349
在 AI for Science 技术已经颇为成熟的当下，神经网络被大量用于分子结构建模，成为了量子力学模拟、材料发现、药物设计、反应设计等等领域的一种新的范式。具体而言，这些神经网络往往以分子结构作为输入，预测分子势能、原子受力、分子毒性等等人们关心的性质。分子结构在本质上是三维欧氏空间的点云，这一输入有别于图像、文本，有着比较强的物理对称性约束。比如，当分子在真空中平移、旋转，分子的势能、受力...
论文笔记：E(n) Equivariant Graph Neural Networks
qq_40206371的博客
06-29 1万+
本文介绍了一种新模型来学习与旋转、平移、反射和排列等变的图神经网络，称为 E(n)-等变图神经网络 (EGNN)。 与现有方法相比，EGNN不需要在中间层中计算昂贵的高阶表示，同时仍能获得有竞争力或更好的性能。 此外，虽然现有方法仅限于 3 维空间的等变性，但EGNN很容易扩展到更高维空间。 尽管深度学习在很大程度上取代了手工制作的特征，但许多进步严重依赖于深度神经网络中的归纳偏差。（inductive bias） 将神经网络限制为和研究问题相关函数的一种有效
CNN中的平移不变性和平移等变性
qq_55794606的博客
10-05 2396
如果我们从宏观角度退一步看，若对于分类任务不以最终的label为输出结果，而是以输出probability为准，对于一张目标有平移的图像，其预测的probability会和原图一样么，这种近似苛刻的要求看起来又似乎是合理的。从特征提取的角度直观的思考，卷积操作的局部特征提取，会使得原目标在左上角时，特征层的目标特征在左上角，原目标在右下角时，特征层的目标特征在右下角。即便是如VGG16，随着目标的移动，抽象特征的模式也并不是原始目标的简单平移，但似乎保留了这一特定图像的全局总和。在 CNNs 中获得的。
等变性的AI：从离散到连续
liangwqi的博客
09-14 707
这篇文章主要介绍了在科学问题中如何实现不变性或等变性，其中介绍了实现等变性的数学和物理基础，包括离散和连续对称变换的示例，并描述了在实践中如何使用张量积。文章还讨论了如何处理数据中的对称性，以及如何开发适应对称性约束的机器学习模型。最后，文章指出了几个值得在该领域探索的开放研究方向。
等变transformer
qq_49786473的博客
11-10 644
等变Transformer（Equivariant Transformer）是一种特定设计的Transformer架构，能够在处理分子结构和3D几何信息时保持等变性（Equivariance）。等变性是指模型在输入进行某种变换（如旋转或平移）时，输出会相应地改变，但输出本身的特征不变。对于分子建模和分子模拟任务，这种特性至关重要，因为分子的几何结构会影响其性质。等变Transformer核心概念。
44、卷积神经网络的几何结构、等变性与不变性
n4o5p6q7r的博客
09-17 36
本文深入探讨了卷积神经网络（CNN）的几何结构、等变性与不变性等核心概念。通过分析CNN参数共享带来的流形维度降低，揭示其抗过拟合能力；引入群论框架，定义群的作用、轨道与函数扩展，阐明CNN在平移变换下的等变性机制；并通过数学推导证明卷积操作在离散与连续情形下对平移群的等变性，进一步推广至一般群结构。文章还讨论了旋转等变性的条件，指出使用旋转不变滤波器可实现协变性，为理解CNN在图像识别中的成功提供了坚实的理论基础。
43、卷积神经网络的几何特性、等变性与不变性
最新发布
h9j8k7l6m5n的博客
09-17 34
本文深入探讨了卷积神经网络（CNN）的几何特性及其与群论的关系，重点分析了等变性与不变性的数学本质。通过引入群、群作用及群在函数上的扩展等概念，解释了CNN为何在图像识别中具有对平移等变换的鲁棒性，并展示了如何利用群论降低模型复杂度、增强对称性理解。文章还总结了群论在CNN中的应用现状，展望了其在未来复杂群结构、跨领域融合及实际场景中的潜力，为设计更高效、可解释性强的神经网络提供了理论支持。
关于卷积各种等变性的数学描述
Soonki的博客
06-14 753
论文General E(2)-Equivariant Steerable CNNs的知识补充，由于其中涉及了很多数学相关的知识，所以特此说明。
cnn平移等变性和不变性
lx18303916的博客
01-11 1995
cnn不变性和等变性
CNN 中的等变(equivariant)和不变(invariant)
qq_38156104的博客
03-03 8171
等变性 equivariant 通俗解释： 对于一个函数，如果你对其输入施加的变换也会同样反应在输出上，那么这个函数就对该变换具有等变性。 更严谨些： 对于一个函数/特征以及一个变换， 如果我们有： 则称对变换有等变性。 举一个例子，假设我们的变换是将图像向右平移一段距离，我们的函数是检测一个人脸的位置（比如说输出坐标），就是先将图片像右移，接着我们在新图较之原图偏右的位置检测到人脸； 则是我们先检测到人脸， 然后再将人脸往右移一点。这二者的输出是一样的，与我们施加变换的顺序无关。 不变性 inv
【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制
weixin_44708254的博客
10-23 1608
通过看AI如何蛋白质结构，有哪些机制或tricks可以利用？
几何等变图神经网络综述
白景屹的博客
10-27 4115
许多科学问题都要求以几何图形（geometric graphs）的形式处理数据。与一般图数据不同，几何图显示平移、旋转和反射的对称性。研究人员利用这种对称性的归纳偏差（inductive bias），开发了几何等变图神经网络（GNN），以更好地描述几何图的几何特性和拓扑。尽管取得了丰硕的成果，但它仍然缺乏一项survey来描述等变GNN是如何发展的，这反过来又阻碍了等变GNNs的进一步发展。为此，基于必要但简明的数学预备知识，我们下面分析并将现有方法分为三组，以了解如何表示GNN中的消息传递和聚合。
关于 CNN对图像特征的 位移、尺度、形变不变性的理解
热门推荐
voxel_grid的博客
02-07 2万+
个人认为cnn中conv层对应的是“等变性”（Equivariance），由于conv层的卷积核对于特定的特征才会有较大激活值，所以不论 上一层特征图谱（feature map）中的某一特征平移到何处，卷积核都会找到该特征并在此处呈现较大的激活值。这应该就是“等变性” 这种“等变性”是由conv层的 1局部连接 2权值共享 两个特性得到的。 所谓的“形变不变性”，应
CNN的等变性和不变性
ACM之路
06-05 2510
不变性: invariant f(F(x)) = f(x) 等变性: eq f(g(x)) = g’f(x) pooling是具有不变性 cnn 是具有等变性 https://zhangting2020.github.io/2018/05/30/Transform-Invariance/
神经网络中的不变性
zxyhhjs2017的博客
01-09 2699
个人认为cnn中conv层对应的是“等变性”（Equivariance），由于conv层的卷积核对于特定的特征才会有较大激活值，所以不论 上一层特征图谱（feature map）中的某一特征平移到何处，卷积核都会找到该特征并在此处呈现较大的激活值。这应该就是“等变性” 这种“等变性”是由conv层的 1局部连接 2权值共享 两个特性得到的。 所谓的“形变不变性”，应该指的是，若是特征有较小的...
机器学习基础1--排列的不变性
sdsc1314的博客
06-08 2467
排列不变性（permutation invariance）：指输入的顺序改变不会影响输出的值。 例如，f()就有排列不变性 ：
子等变性图神经网络SGNN
03-28
### 子等变性图神经网络（SGNN）概述 子等变性图神经网络（Subgraph Equivariant Graph Neural Network, SGNN）是一种针对图数据设计的新型图神经网络架构。其核心特点是能够捕捉子图级别的特征并保持对子图变换的等变性[^1]。这种特性使得SGNN在处理具有复杂拓扑结构的数据时表现出显著优势。 #### 基本原理 SGNN的设计理念在于利用子图的信息来增强节点表示的学习能力。具体而言，SGNN通过引入一种特殊的聚合机制，允许模型不仅关注局部邻域内的信息传递，还能捕获更大范围的子图模式。这种方法可以有效提升模型对于全局结构的理解能力[^2]。 此外，研究表明，SGNN可以通过替换基础模块进一步优化性能。例如，当采用更加复杂的可分离GNN模型（如S2GC）作为基本单元时，整体表现会有所改善。 #### 实现方法 以下是SGNN的一个简化实现框架： ```python import torch from torch_geometric.nn import MessagePassing from torch_geometric.utils import add_self_loops, degree class SubEquivariantLayer(MessagePassing): def __init__(self, in_channels, out_channels): super(SubEquivariantLayer, self).__init__(aggr='add') # "Add" aggregation. self.lin = torch.nn.Linear(in_channels, out_channels) def forward(self, x, edge_index): # Add self-loops to the adjacency matrix. edge_index, _ = add_self_loops(edge_index, num_nodes=x.size(0)) # Start propagating messages. return self.propagate(edge_index, x=self.lin(x)) def message(self, x_j): # Normalize node features by their degrees (optional). return x_j # Example usage of SGNN layer def create_sgnn_model(input_dim, hidden_dim, output_dim): model = torch.nn.Sequential( SubEquivariantLayer(input_dim, hidden_dim), torch.nn.ReLU(), SubEquivariantLayer(hidden_dim, output_dim) ) return model ``` 上述代码定义了一个简单的消息传播层`SubEquivariantLayer`，该层继承自PyTorch Geometric库中的`MessagePassing`类，并实现了特定的消息传递逻辑。此代码仅为演示目的，实际部署可能需要更多调整以适应具体的任务需求。 #### 应用领域 由于SGNN具备强大的表达能力和灵活性，因此适用于多种场景，包括但不限于以下方面： - **节点分类**：通过对节点及其周围环境建模，预测未知标签。 - **链接预测**：评估两个未连接实体之间是否存在潜在关系的可能性。 - **动态图分析**：监控随时间变化的交互过程，揭示隐藏规律。 值得注意的是，在某些情况下，尽管其他算法也能取得不错的效果，但由于计算资源限制或者扩展性不足等问题，难以应用于超大规模数据集上；而SGNN则凭借高效的设计克服了这些障碍。 --- ### 效率对比 实验结果显示，相比于传统方法，SGNN能够在不牺牲精度的前提下大幅降低运算成本。特别是在面对稀疏且高度异质化的输入样本时，这一特点尤为突出。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

farfarcheng

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值