ESN学习笔记——原理与超参数

参考文献地址

ESN原理(略）

论坛里有不少文章，我就不搬了，看一下可以大致搞懂原理。
知网搜回声状态网络也有很多中文文献，不一定要去啃英文论文。
它是一种递归神经网络
输入u(n)
储备池内神经元x(n)
输出神经元y(n)
大概来说:
Win：由输入U(n)接入储备池的连接权值矩阵
W：储备池内部神经元连接权值矩阵
Wback：储备池与输出单元的连接权值矩阵
以上三个矩阵预先生产，并且在训练过程中保持不变。
Wout：是唯一需要训练的权值矩阵

超参数

储备池内部连接权谱半径ρ

其为连接权矩阵W的绝对值最大的特征值，记为λmax，λmax<1是保证网络稳定的必要条件

储备池规模N

其为储备池中神经元的个数，储备池的规模选择与样本个数有关。
储备池规模越大，ESN对给定动态系统的描述越准确，但是会带来过拟合问题。

输入单元尺度因子IS。

其为储备池的输入信号连接到储备池内部神经元之前需要相乘的一个尺度因子，即对输入信号进行一定的缩放。一般需要处理的对象非线性越强，IS越大。

储备池稀疏程度SD。

储备池中相互连接的神经元总数占总的神经元N的百分比，其值越大，非线性逼近能力越强。
W一般保持1-5%的稀疏连接。

输出正则化因子

泄露积分型回声状态网络（Leaky ESN）

是一种常用优化方法
《回声状态网络研究》一文里有解释。

泄漏率α

控制前一时刻内部神经元的保持程度，α越小，则上一时刻内部神经元状态变化越慢，从而网络短期记忆较强。当α=1时，就是ESN。