等变神经网络 Equivariant Neural Networks （一）基础知识

1. 群理论

1.1 SO(n)、SE(n)、E(n)

• SO(n) 是特殊正交群的符号，表示 n 维实数向量空间中的旋转矩阵的集合。特殊正交群是满足矩阵转置等于矩阵的逆的矩阵集合。SO(n) 中的矩阵可以用于描述 n 维空间中的旋转操作。在等变神经网络中，SO(n) 被广泛用于处理旋转对称性。通过将输入数据与 SO(n) 中的旋转矩阵进行组合，等变神经网络可以保持输入数据在旋转操作下的等变性质。
• SE(n) 是特殊欧几里德群的符号，表示 n 维欧几里德空间中的等距变换和刚体运动的集合。特殊欧几里德群包括平移、旋转等等距变换，并且保持体积不变。在等变神经网络中，SE(n) 可以用于处理平移、旋转和刚体运动等对称性。通过将输入数据与 SE(n) 中的等距变换和刚体运动进行组合，等变神经网络可以保持输入数据在这些变换下的等变性质。
• E(n) 是欧几里德群的符号，表示 n 维欧几里德空间中的等距变换的集合。欧几里德群是满足保持距离不变的变换操作的集合。E(n) 中的变换可以包括平移、旋转和镜像等。在等变神经网络中，E(n) 可以用于处理平移、旋转和镜像等对称性。通过将输入数据与 E(n) 中的等距变换进行组合，等变神经网络可以保持输入数据在这些变换下的等变性质。
• SE(n)和E(n)的关系：
  • SE(n)是E(n)的一个子群，只包括旋转和平移运动，而E(n)包括了SE(n)的运动以及反射运动。换句话说，SE(n)是E(n)中保持定向的子集。
  • SE(n)是特殊欧氏群的表示，表示的是n维欧氏空间中的刚体运动，即平移和旋转的组合。
    E(n)是欧氏群的表示，表示的是n维欧氏空间中的所有运动，包括平移、旋转和反射。
    SE(n)是E(n)的子群，只包括旋转和平移运动，而E(n)包括了SE(n)的运动以及反射运动。

1.2 刚体和刚体运动

• 刚体是指具有固定形状和大小，其内部各点之间的相对位置保持不变的物体。
• 刚体运动是指物体在空间中保持形状和大小不变的运动。在刚体运动中，物体的各个部分之间的相对位置保持不变，即物体的内部结构不发生变化。（平移、旋转）

2. 等变神经网络

2.1 概念

• 等变神经网络（Equivariant Neural Networks）是一类神经网络架构，旨在处理具有对称性的数据，并保持输入数据的对称性在输出中得到保持。与传统的神经网络不同，等变神经网络在输入数据的变换下保持等变性，即输入数据的变换会相应地反映在网络输出上。
• 等变神经网络的设计灵感来源于对称性的概念。当数据具有某种对称性（如平移、旋转、镜像等）时，传统的神经网络可能无法充分利用这种结构，并且在不同变换下会产生不同的输出。等变神经网络通过结构上的设计和约束，可以确保输入数据的变换对应于输出数据的相应变换，从而实现对称性的保持。

2.2 等变性

• 等变性（equivariance）是指一个系统或过程在变换操作下保持某种关系或性质不变的特性。简而言之，等变性意味着当输入数据经过某种变换时，输出数据也会相应地发生相同的变换。
• 在数学和计算机科学领域中，等变性通常与对称性和变换操作相关。一个等变性的系统可以根据输入数据的变换对输出数据进行相应的变换，从而保持输入与输出之间的关系或性质不变。
• 例：一个3D点云表示的飞机，先旋转（旋转矩阵作用于该物体）后提取特征和先提取特征后旋转是等价的。

2.3 旋转不变性和旋转等变性

• 旋转不变性是指对象在旋转变换下保持不变的性质或特性。旋转等变性是指对象在旋转变换下以一种特定的方式变化或转换的性质。
• 旋转不变性描述对象不受旋转变换影响，而旋转等变性描述对象在旋转变换下的变化与旋转变换有关。旋转不变性是对象保持不变的特性，而旋转等变性是对象随着旋转变换的作用而变化的特性。