luralying的博客

即便有很多可用的处理器，在任何一次处理中，只有等到前面所有步骤完成，才能处理下一个任务。而卷积层在处理任务的时候只需要查看原始输入，只要有足够的可用处理器，就可以同时在所有输入上并行计算。直到去年发表的一篇论文表面线性RNN可以避免这两个问题，因此线性RNN是高效的长序列模型。S5是基于S4的设计基础，S4层使用许多独立的单输入、单输出SSM，而S5使用一个多数人、多输出的SSM。从理论上来讲，单个循环层可以不断地提炼任意长的信息输入，但实际上却不然，最多只学习和提炼最近的数十个输入信息。

RNN本质上是一个SSMS4将序列信号映射至勒让德基函数空间，状态向量即为多项式系数S4中将RNN中权重矩阵W替换成Hippo矩阵。

RNN用于处理序列数据。在传统的神经网络模型中，是从输入层到隐藏层再到输出层，层与层之间是全连接的，每层之间的节点是全连接的，层内的节点是无连接的。但是这种普通的神经网络对于很多问题却是无能为力。例如，你要预测下一个单词是什么，一般需要考虑前面输入的上下文信息。RNN之所以称为循环神经网络，具体表现为网络会对前面的信息进行记忆并应用到当前输出的计算中，即隐藏层之间的节点不再是无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输入还包括上一时刻隐藏层的输出。理论上，RNN能够对任意长度的序列数据进行处理。

一个用n阶微分方程描述的系统，就有n个独立变量，求的这n个独立变量的时间相应，系统的运动状态也就被揭示无疑了。状态方程和输出方程一同构建一个动态系统的完整描述，称为系统的状态空间表达式，也称为状态空间描述。同一个系统，究竟选取的哪些变量可以作为状态变量，这不是唯一的，要紧的这些变量是相互独立的，其个数等于微分方程的阶数。通过构建状态向量，将实际带有物理意义的状态变量转化为n空间的一个坐标，便于观察状态变量随时间变化的规律。动态系统的状态说明粗略的说是指系统的过去、现在和将来的动态变换情况。