Echo State Network的详细介绍

• Echo State Network（ESN）又叫做回声状态网络，这个网络主要的特点就是他有一个“存储库”，一般称为reservoir来存储相关的信息和保存时间特性的。现在来介绍一下ESN

Echo State Network（ESN）

一个无输出反馈的回声状态网络由三个基本组件组成：一个输入层，一个大型的循环隐藏层（一般叫做reservoir），以及一个输出层。输入层是随机的连接到这个大型的隐藏层的（reservoir）。然后reservoir包含稀疏随机连接。这里只有一个可以适应的参数就是输出权重，这个输出权重通常是通过线性回归来更新调整的，如下图所示：

输入：

首先，我们给定一个在时间点t上的K维的输入向量，这个u(t)就是在t时刻下的输入向量，一共有K维在里面。然后我们再获得在时间点为t-1时刻下的N维向量，这个x(t-1)就是在时间点为t-1时候的存储库的状态，是一个N维向量。我们通过下面的两个方程来对整个系统进行更新：

在这里，是在时间点为t下的L维的输出（我们看到这个y(t)就知道是时间点在t下的输出，一般用y来表示输出的）。对于上面两个等式，Win，Wres，Wout用来代表以下几个权重：1.从输入层到存储层的连接权重；2.存储层指向本身的权重；3.从存储层到输出层的链接权重。在网络中，Win和Wres是随机生成的和随机调整的。只有Wout是可适应的。f是存储层的激活函数（这个激活函数一般是tanh），而等式2里面的fout就是输出层的激活函数（通常是identity函数）

在ESN初始化的时候有三个超参数起作用：IS(Input Scaling),SR(Spectral Radius),α（稀疏Sparsity）

（1）IS是用来初始化矩阵Win的。这个Win中的元素是从均匀分布[-IS,IS]里面抽取出来的，也就是说这哦Win中的元素初始化以后应该服从均匀分布[-IS,IS]

(2)SP是Wres的谱半径，通过这个公式来计算：

这个公式里面，就是矩阵W的最大特征值（求特征值取最大值）。矩阵W的元素就是在[-0.5,0.5]之间随机生成。

（3）α是Wres中的非零元素的比例，（用这个来表示稀疏）

一个ESN有两个核心的特性：（比较学术，可以不管）

（1）TK（Temporal Kernel）：输入时间序列驱动大的存储层reservoir，在高维状态空间中产生回波状态，使得reservoir在基于核函数的方法中起到类似核函数的作用。reservoir可视为速度核，其回波状态是输入时间序列的非线性高维表示

（2）ESP（Echo State Property回声状态属性）：ESP是指短期历史相似的输入会产生相似的响应状态，从而保证了储层的动态稳定性。Yildiz, Jaeger和Kiebel(2012)讨论了标准sigmoidESNs和漏积分器ESNs ESP的充分条件。对于标准的s型ESNs，如果递归权矩阵Wres是对角稳定的，则ESP是满足的。ESP还提供一种重要的ESNs功能，称为“衰退记忆”或“短期记忆”。在这种短期记忆中，输入和之前的存储状态对未来存储层的影响会随着时间的过去而消失的。

###################

以上就是对最基础的ESN的一个介绍，其实我觉得对于这个ESN，他的回声状态就是在中间的reservoir中的循环连接导致的，这个recurrent给定了它一定的记忆功能，而且通过改变recurrent的长度就可以改变这个网络的记忆长度。就有点类似于LSTM的样子。