8、神经网络模型的原理与应用

神经网络模型的原理与应用

1. 神经图灵机（NTM）

神经图灵机（NTM）具备额外的能力，并且是端到端可微的，可以使用基于时间的反向传播（BPTT）的随机梯度下降（SGD）变体进行训练。

1.1 测试任务

使用五个算法任务来测试NTM模型的性能，这些任务的目标输出可以通过简单程序计算得出。例如：
- 复制任务 ：输入是固定长度的二进制向量序列，后跟一个分隔符符号，目标输出是输入序列的副本。
- 优先级排序任务 ：输入是二进制向量序列，每个向量有一个不同的标量优先级值，目标输出是按优先级排序的向量序列。

1.2 性能对比

对比了三种不同的架构：长短期记忆循环神经网络（LSTM RNN）、带有前馈控制器的NTM和带有LSTM控制器的NTM。实验表明，两种NTM架构在训练集性能和对测试数据的泛化能力上都显著优于LSTM RNN。特别是，NTM的解决方案对长度超过训练集的输入具有较好的泛化能力，而没有外部记忆的LSTM则不然。

2. 细胞神经网络（CeNN）

2.1 架构

空间不变的CeNN架构是一个M×N的相同细胞阵列。每个细胞$C_{ij}$与半径为$r$的预定义邻域$N_r(i,j)$内的相邻细胞具有相同的连接。邻域大小$m = (2r + 1)^2$。

2.2 细胞电路

传统的模拟CeNN细胞由一个电阻、一个电容、2m个线性电压控制电流源（VCCSs）、一个固定电流源和一种特定类型的非线性电压控制电压源组成。细胞的输入、状态和输