神经网络与机器学习 笔记—时序模式、非线性滤波

时序模式、非线性滤波

以多层感知器为例的静态神经网络的原型应用是结构化模式识别。时序模式识别或飞翔性滤波要求对随时间演化的模式进行处理，对特定的时刻的相应不仅依赖于输入的当前值，还依赖于以前的值。简单说，时间是有序的量，构成了时序模式识别任务中学习过程的重要成分。

对于动态神经网络来说，它必须以一种或另一种形式给定短期记忆。完成这已修改的一个简单途径是利用时间延迟，时间延迟可以在网络内部的突触层或者外部地在网络的输入层上执行。确实，神经网络中时间延迟的使用是受神经生物学启发的，因为在大脑中信号延迟是无所不在的，且在神经生物信息处理中起着重要的作用。时间可以通过如下的两种基本途径来嵌入神经网络的运行中：

隐式表示。时间是通过其作用于信号处理的效果以一种隐含方式来表示的，这由通过外部方式对一个静态神经网络（如多层感知器）提供动态属性而得到。

显示表示。在网络结构内时间由它自身的特定表示给出。

建立在神经网络上的非线性滤波：

 

由两个子系统的层叠连接组成：短期记忆和静态神经网络（如多层感知器）。这一结构对于处理规则提供了明确的分割：静态网络对应于非线性，记忆对应于时间。具体来说，假设给定了具有大小为m的输入层的多层感知器。那么，在一个对应的途径下，记忆是一个单输入多输出（SIMO）的结构，