6、脉冲神经网络的学习机制

脉冲神经网络的学习机制

1. 引言

神经网络的发展经历了三代。第一代基于McCulloch - Pitts神经元模型，以感知器作为阈值门，每个单元输出为数字量，如多层感知器、Hopfield网络和玻尔兹曼机。第二代以“激活函数”作用于输入的加权和，常见激活函数有Sigmoid函数和线性饱和函数，像前馈和递归神经网络、径向基网络等，能计算某些布尔函数，且可处理模拟输入输出。这两代神经网络仅关注生物神经元的少数方面。

第三代神经网络基于Hodgkin - Huxley脉冲神经元模型。脉冲神经网络的显著特点是重要信息编码于神经活动模式，神经元通过脉冲序列而非单值进行通信。由于大规模脉冲神经网络模拟需高计算资源，常采用积分发放神经元模型和脉冲响应模型作为简化的Hodgkin - Huxley模型。其学习机制与前两代经典神经网络差异很大。最初，研究者尝试将传统学习机制应用于脉冲神经网络，如类似经典BP算法的SpikeProp被提出用于训练脉冲神经网络，证明其可进行分类和函数逼近，且在相同分类问题上，使用并行计算时训练周期比经典神经网络更少。

基于带延迟编码的脉冲响应神经元模型的脉冲神经网络可用于时间序列预测问题，如激光振幅波动预测。还有含时滞权重的积分发放神经元网络模型，可用于嗅觉系统中的时空模式识别，通过更新延迟和权重实现不变的时空模式识别，为更高层次任务建模提供基础。此外，脉冲神经网络还具有不同方式的自组织能力，可用于初级视觉皮层的模式交互和方向图建模。

2. 脉冲神经元模型

2.1 Hodgkin - Huxley脉冲神经元模型

Hodgkin和Huxley对鱿鱼的巨轴突进行实验，发现三种不同类型的离子电流。产生动作