Spike Neural Network Introduction and Research Directions

1.SNNs

是一类神经网络,其中的神经元通过脉冲(spikes)来传递信息,而不是像传统的人工神经网络中那样使用实数值激活。

SNNs 更接近生物学上的神经系统,因为生物神经元也是通过电信号脉冲来传递信息的。与传统神经网络相比,SNNs 具有以下几个特点:

1. 更低的功耗 - 因为只在发生脉冲时才激活神经元,所以整体功耗会比传统神经网络低很多。这使得 SNNs 很适合应用在对功耗要求非常严格的场景,如边缘计算。
2. 时序编码 - SNNs 可以利用脉冲发放的时序来编码信息。这使得它在处理时间相关的信号时具有优势,如语音识别、视频处理等。
3. 可塑性 - SNNs 可通过 Spike Time Dependent Plasticity (STDP)实现 synapse 的可塑性,这与生物神经系统中的可塑性和学习过程非常类似。
4. 抗噪声能力 - 因为使用的是离散的脉冲信号,所以 SNNs 在某种程度上具有抗噪声的能力。

SNNs 目前还处在研究阶段,还存在训练困难、缺乏统一设计方法等问题。但它作为一种更加生物可塑的神经网络结构,被认为在神经形态计算、边缘计算等领域具有广阔的应用前景。

2.目前在SNNs领域比较活跃的几个研究团队和部分最新研究进展包括:

1. 瑞士洛桑联邦理工学院生物启发计算系统实验室(Giacomo Indiveri团队):发表了多篇SNNs前沿研究文章,如采用STDP机制进行非监督学习的SNNs。
2. 慕尼黑工业大学(Tobi Delbrück团队):开发了基于事件驱动传感器的SNNs,在神经形态视觉方面取得进展。
3. 华盛顿大学(Evelyn Tang团队):开发了NeuroSim SNN模拟平台,使用STDP进行SNN结构和连接优化。
4. 斯坦福大学(Surya Ganguli团队):建立了理论框架分析和优化SNN结构,提出了SURGE算法对SNN进行有效训练。
5. 英特尔实验室(Mike Davies团队):设计了基于Loihi芯片的SNN系统,实现了语音识别和图像分类任务。
6. 西湖大学(Haizhou Li团队):提出了时间表面方法训练SNN,实现了语音识别等任务。

最近一些代表性文章:

• Event-driven Random Back-propagation for Training Deep Spiking Neural Networks(Frontiers in Neuroscience 2020)
• Efficient Neuromorphic Signal Processing with Loihi 2(IEEE Micro 2022)
• Training deep spiking neural networks for pattern recognition(Frontiers in Neuroscience 2022)

3.北京大学也有团队在研究SN