论文阅读-One-shot learning with spiking neural network

摘要：
理解怎么一次发放学习能够被实现通过大脑的神经网络里的突触可塑性是一个主要开放问题。我们提出在脉冲神经元的循环网络中BPTT的估计值比如e-prop不能达到这个水平因为它们的区域突触可塑性被从生物学的观点临时的学习信号所门控着， 瞬时上升的随机投射损失在。网络输出，类似的在前馈网络中的传播队列。相反的，突触可塑性在大脑中被学习信号门控就好像多巴胺，被特定的大脑区域所发出的。这些大脑区域已经被可论证的被以一种幸存有关联任务被许可的方式的门控突触可塑性的演化所优化。我们发现一种相关的模型结构，学习信号被一个分离的被优化去促进快速学习的，通过本地的在学习任务大家庭的循环脉冲神经网络突触可塑性使一次发放成为可能。这相同的学习方式也支持潜在的输入来源的其次的可能性的快速的基于脉冲的学习。我们的新的学习方法也能解决一个开放问题在神经形态工程上，芯片内一次发放学习能力对于基于脉冲的神经形态设备使高度可取的，但是到目前为止没有被达到。我们的方法能能简单的被映射进神经形态的硬件，因此解决问题。
介绍：
训练一个循环神经网络最有力的方法依赖于基于导数的一个损失函数E的优化去获得一个网络参数W的执行好的集合。计算导数dE/dW的经典的方法是去实现BPTT。然而大脑不用BPTT去学习是被广泛的相信的。最近被提出的BPTT的替换物，例如RSNNs的e-prop和好像是大脑中学习的实现的基础的 人工神经网络的没有聚焦于两种变量的缓慢过程的RFLO
1、神经元和突触维持最近活动的痕迹，这个痕迹被知道去诱导突触可塑性如果被一个自顶向下的学习信号紧密跟随。这样的痕迹被称为合格的痕迹。我们把时间t从神经元i到神经元j的合格痕迹记作eijt

2、在大脑中有自顶向下的学习信号的一个丰富，有神经递质的形式和发放活动的形式，他们中的一些被知道是特别的对于不同的目标神经元数来说，和传输大量的学习相关的方面。我们把神经元j在时间t的学习信号表示为Ltj
这个理想的网络梯度下降的权重改变在循环神经网络中能被表示为：