9、神经网络波机器实验与分析

神经网络波机器实验与分析

1. 实验细节

1.1 序列分类

在序列分类实验中，通过修改原始 coRNN 的公开代码，融入主文中提到的局部连接约束条件来开展效率实验。所有超参数都设置为公开代码中的默认值，这些默认值与作者通过对每个数据集独立进行网格搜索得到的最优超参数相匹配。表 4.2 中的基线 coRNN 值是通过重新运行原作者的代码获得的，我们观察到这些值与之前发表的结果相似。

对于神经网络波机器（NWM），隐藏状态的拓扑结构被定义为一个规则的二维正方形网格，其边长等于默认隐藏状态大小的平方根（对于非完全平方值，取平方根的整数下限）。每个神经元与网格中其周围的 8 个单元格相连，同时还有自连接。拓扑结构的边界条件被定义为周期性的（通过循环填充实现），使得全局拓扑结构为二维环面。循环局部耦合参数在网格的所有空间位置上共享，这样上述局部连接可以通过一个 3×3 的核进行周期性卷积来实现。我们发现增加卷积层的通道数能显著提高性能，因此在表 4.2 的 NWM 模型中，隐藏状态使用了 16 个通道。参数数量的计算如下：

#θ = 1 × 256 × 16 + 16 × 16 × 3 × 3 × 2 + 256 × 16 × 10 = 49,664

1.2 旋转 MNIST 和正弦波

使用 MNIST 和简单正弦波数据集来测量时空结构的实验，是通过修改 Topographic VAE 的公开代码，用我们提出的 NWM 替换原论文中地形学生 - T 变量的“移动时间相干性”构造来完成的。为实现这一点，编码器和解码器（$f_θ$ 和 $g_