15、连接主义模型中的时间处理

连接主义模型中的时间处理

1. 尖峰神经网络

尖峰神经网络是一种基于尖峰神经元构建的连接主义架构，在连接上存在一定的传播延迟。研究表明，尖峰神经网络至少和图灵机一样强大，它能用有限数量的神经元和布尔输入，实时模拟任何具有有限数量磁带的图灵机。而且，尖峰神经网络比图灵机更强大，因为它能处理实数计算（时间事件的差异），可以模拟一些图灵机无法模拟的机器。

不过，和递归神经网络（RNNs）一样，虽然尖峰神经网络有强大的理论基础，但我们并不清楚如何让它学习特定的函数。不过，已有研究详细介绍了一些基本函数（如乘法、加法、比较）在尖峰神经网络中的实现。

时间连接主义模型的理论特性总结

连接主义模型	能够模拟	非线性推广的估计器
标准静态网络	连续映射	AR
RNNs	动态系统/图灵机	ARMA
尖峰神经网络	图灵机	任意？

2. 相关时间连接主义模型

2.1 时间延迟神经网络（TDNN）

TDNN 是对多层感知器（MLP）架构的改进。其输入由“延迟线”组成，即一组“