脉冲神经网络训练的波动驱动初始化

转载翻译自: https://iopscience.iop.org/article/10.1088/2634-4386/ac97bb
论文标题： Fluctuation-driven initialization for spiking neural network training

论文翻译

摘要

  脉冲神经网络 (SNN) 是大脑中低功耗、容错信息处理的基础，当在合适的神经形态硬件加速器上实现时，它可以成为传统深度神经网络的节能替代方案。然而，实例化解决复杂计算任务的 SNN仍然是一项重大挑战。替代梯度 (SG) 技术已成为端到端训练 SNN 的标准解决方案。尽管如此，它们的成功取决于突触权重初始化，类似于传统的人工神经网络 (ANN)。然而，与 ANN 的情况不同，SNN 的良好初始状态仍然难以捉摸。在这里，我们开发了一种通用的 SNN 初始化策略，其灵感来自大脑中常见的波动驱动机制。具体而言，我们推导出数据相关权重初始化的实用解决方案，以确保广泛使用的泄漏积分和激发神经元中波动驱动的激发。我们通过经验表明，按照我们的策略初始化的 SNN 在使用 SG 训练时表现出卓越的学习性能。这些发现适用于多个数据集和 SNN 架构，包括完全连接、深度卷积、循环和符合戴尔定律的更具生物学合理性的 SNN。因此，波动驱动的初始化提供了一种实用、通用且易于实施的策略，用于提高神经形态工程和计算神经科学中各种任务的 SNN 训练性能。

简介

  脉冲神经元通过离散动作电位或脉冲进行通信，从而使神经生物学和神经形态系统中的信息处理节能可靠 [ 1,2 ] 。在将脉冲神经网络 ( SNN ) 用于任何应用之前，需要针对任务优化其连接。在传统的人工神经网络 (ANN) 中，此步骤是通过使用反向传播结合合适的参数初始化的直接端到端优化来实现的 [ 3 ]。然而，由于缺乏神经元脉冲动力学的平滑导数，因此无法在 SNN 中使用基于梯度的优化。一种越来越常见的克服此问题的方法是替代梯度 (SG) 学习 [ 4-6 ] ，它依赖于实际梯度的