本文总结了储备池计算的发展，从RNN的挑战到ESN（Echo State Network）和LSM（Liquid State Machine）的提出。共同点在于它们都包含循环连接的储蓄池，不同之处在于ESN使用sigmoid单元，而LSM采用脉冲神经元。储蓄池的性能受四个关键参数影响：连接权谱半径SR、规模N、输入单元尺度IS和稀疏程度SD。
ESN和LSM提出的背景
RNN(Recurrent Neural Network)，被证明具有很好的函数逼近能力和记忆能力，但训练起来却十分困难。
Buonomano 在早期工作中提出了用具有暂塑性（short-term plasticity、dynamic synapses）的脉冲神经元（spiking neurons）构成的随机网络，他发现暂塑性使得循环网络具有更慢的动态：保持随机连接的循环网络不变，只需要训练一个简单的对网络输出特征做处理的分类/回归模型。
上述训练思想分别被Jaeger 用在回声状态网络（Echo State Network）上，被 Maass 用在液体状态机（Liquid State Machine）上，构成了现在储备池计算的基石。
ESN和LSM的共同点和区别
共同点：
两者的隐藏层都被称为储蓄池，而储蓄池内部的神经元都是循环连接的（拥有记忆能力），因此两者都是RNN，两者简洁而易于表达，易于训练且具有生物解释性。
区别：
ESN：从数学和工程角度提出，神经元是由简单的sigmoid单元组成，在离散时间上更新。
LSM：从数学和生物角度提出，神经元是由spiking neurons(脉冲神经元)组成，在连续时间上动态更新。由于LSM接收和处理的信号为脉冲信号，所以说LSM也属于SNN的范畴。
ESN框图
LSM框图
储蓄池的四个参数
储蓄池是这类网络的核心结构，所谓的储蓄池就是随机生成的、大规模的、稀疏连接（通常保持1%-5%连接）的递归结构。
ESN或LSM的最终性能是由储备池的各个参数决定的，包括：储备池内部连接权谱半径SR、储备池规模N、储备池输入单元尺度IS、储备池稀疏程度SD
（1）储备池内部连接权谱半径SR。其为连接权矩阵W的绝对值最大的特征值，记为λmax，λmax<1是保证网络稳定的必要条件；
（2）储备池规模N。其为储备池中神经元的个数，储备池的规模选择与样本个数有关，对网络性能影响很大，储备池规模越大，ESN对给定动态系统的描述越准确，但是会带来过拟合问题。
（3）储备池输入单元尺度IS。其为储备池的输入信号连接到储备池内部神经元之前需要相乘的一个尺度因子，即对输入信号进行一定的缩放。一般需要处理的对象非线性越强，IS越大
（4）储备池稀疏程度SD。其表示储备池中神经元之间的连接情况，储备池中并不是所有神经元之间都存在连接。SD表示储备池内部连接权值矩阵W中非零元素所占的比例，它可以用来衡量储备池内部的丰富程度，一般来说网络内部动态越丰富，非线性逼近能力就越强。
扫一扫
456
到【灌水乐园】发言
