4、地形变分自编码器：构建近似等变胶囊的新方法

地形变分自编码器：构建近似等变胶囊的新方法

1. 引言

大脑的许多部分呈现出地形组织的特征，例如V1区的眼优势图和方向图。这种组织方式有什么优势呢？我们能否从中汲取灵感，为深度神经网络架构开发更好的归纳偏置呢？

一种可能的解释是冗余减少原则。在信息论中，冗余会浪费信道容量，因此大脑可能会努力将输入转换为一种神经编码，使得激活在统计上尽可能独立。在机器学习领域，这一思想催生了独立成分分析（ICA），它通过线性变换将输入转换到一个新的基，使活动独立且稀疏。然而，线性变换无法消除所有高阶依赖关系，例如图像边缘处，线性ICA组件（如Gabor滤波器）仍会成簇激活，尽管其活动符号不可预测。这促使了新算法的出现，这些算法通过特征激活的地形组织来明确建模这些剩余的依赖关系，这种地形特征与V1区观察到的风车结构相似。

另一个相关的研究方向是神经网络特征图在对称变换下的“等变性”。有趣的是，通过显式构建具有等变性的神经网络，可以保证模型的绑定权重之间存在高阶非高斯依赖关系，这与上述地形模型中的情况类似。这种地形组织和等变性之间的联系暗示了一种可能性，即可以从特征空间中的诱导拓扑结构来鼓励近似等变性。

为了构建模型，我们需要思考哪些机制可以诱导观察到的变换的地形组织。去除潜在变量之间的依赖关系是一种可能的机制，但要获得等变胶囊表示的更结构化组织，通常的方法是将这种结构硬编码到网络中，或者通过正则化项来鼓励。为了无监督地实现这种结构，我们引入了另一个关键的归纳偏置：“时间连贯性”。时间连贯性原则认为，在处理相关序列时，我们希望表示在空间和时间上平滑缓慢地变化。将时间序列视为输入上的对称变换，我们希望经历这些变换的特征被分组到等变胶囊中。因此，我们建议鼓励在胶囊内进行缓慢的特征变换，