5、流式循环神经网络：架构、规则与实验探索

流式循环神经网络：架构、规则与实验探索

1. 流式循环神经网络概述

自20世纪80年代起，就出现了能通过关联机制积累样本集特征并恢复完整样本的循环网络。近年来，一种特殊的双层循环网络——流式循环网络被提出。与传统网络不同，它积累的不是孤立输入样本的特征，而是包含一系列样本的输入数据流的特征。数据流以样本形式序列的方式到达网络输入模块，在网络中移动，积累模式特征或恢复不完整样本中缺失的数据。

在这种双层循环网络中，信号在层间的传播会根据层的当前状态改变相应的网络空间特征。通过信号的空间移位，RNN中可以形成一些可变的逻辑结构，这些逻辑结构由关联信号交互控制过程中层间信号空间移位的参数决定。同时，这种RNN的突触权重的确定会考虑到削弱发散和收敛信号的额外控制函数。

不过，目前流式循环网络的一些特性尚未得到充分研究。例如，尚不清楚数据流信息是以何种结构和形式被突触集合积累的，也未确定哪些突触子集在关联记忆中起主要作用，哪些子集不参与该过程从而可以从网络结构中移除。

2. 流式循环神经网络架构

2.1 神经元层

流式RNN的输入信号通常会先分解为空间 - 频率分量，每个分量再转换为一系列单脉冲，其频率和重复相位是该分量频率和相位的函数。在网络输出端，会进行逆变换。

该RNN的特点是不仅可以控制突触，还能控制网络层中神经元的特性。根据控制动作的不同，网络可以具备不同的层逻辑结构和各种功能能力。

流式RNN的层结构有多种可能。例如，一种大小为J • K的层结构，其中层被划分为大小为d • q神经元的逻辑场，输入单脉冲集（SSPs）有特定的推进方向，神经元有其数字坐标（0 < i