2、快速收敛胶囊网络与多目标线性规划的神经动力学方法

快速收敛胶囊网络与多目标线性规划的神经动力学方法

胶囊网络相关内容

在图像特征处理中，当我们需要将多层特征组合成更复杂和抽象的特征时，通常会使用池化操作来减小输出特征图的大小。常见的池化方式有最大池化和平均池化。不过，池化操作会导致图像中位置信息的丢失。

为了解决这个问题，2017 年 Hinton 等人提出了胶囊网络（CapsNet），它与卷积神经网络不同，去除了卷积神经网络中的池化层，不会丢弃区域内实体的位置信息。胶囊网络中的神经元以向量形式表示，相较于卷积神经网络使用的标量，更接近对客观世界的抽象。同时，胶囊网络采用动态路由方法，自下而上选择性地进行激活，能更好地实现高度重叠图像的分割，在手写数字识别方面比基本的卷积神经网络取得了更好的效果。

胶囊网络架构

胶囊网络是在卷积神经网络基础上改进而来的，其架构由两个卷积层和一个全连接层组成。输入是一个 28×28 的手写数字图像，经过一个 9×9 卷积核、步长为 1 的卷积操作后，得到 256 个大小为 20×20 像素的特征图像。接着，使用 9×9 卷积核、步长为 2 进行卷积，得到 256 个 6×6 像素的特征图，可看作是 32 个 6×6 像素、8 通道的特征图组合。将其转换为 1152 个长度为 8 的向量，这些向量将作为所有输入。也就是说，第一和第二层是传统的卷积层，只有第二层的输出可以通过重塑转换为向量形式，然后输入到第三层（DigitCaps 层）。

胶囊全连接（DigitCaps）使用动态路由机制来更新参数，具体的转换过程如下：
- $\hat{u} {j|i} = W {ij}u_i$
- $c_{ij} = \frac{\