Spiking Deep Residual Network

最新推荐文章于 2025-02-25 01:00:00 发布
最新推荐文章于 2025-02-25 01:00:00 发布
阅读量514 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wydbyxr/article/details/84614524
本文介绍了一种将深度残差网络(ResNet)转化为脉冲神经网络(SNN)的方法——SpikingDeepResidualNetwork。该方法通过shortcut归一化和逐层误差补偿，成功解决了从ANN到SNN的转化难题，并在MNIST、CIFAR-10及CIFAR-100数据集上取得了优异表现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spiking Deep Residual Network

  近些年，SNN由于它的生物可塑性吸引了大众注意力。理论上，SNN具有与ANN一样的计算能力，而且在功耗方面要比ANN更加节能。但是，在目前看来，训练一个很深的SNN依旧存在很大困难。
  本篇文章，提出了一个方法来构造ResNet的脉冲版本。我们把训练好的ResNet网络转化为脉冲神经元组成的SpikingResNet。为了解决转化过程中的问题，文章提出了shotcut归一化机制来缩减连续的激活值，使之近似匹配SNN中的脉冲发放率；还提出一种逐层误差补偿方法来减少由离散导致的误差。
  在MNIST, CIFAR-10, 和CIFAR-100上做了实验，是目前SNN中性能最好的。

  参考资料：
  https://blog.youkuaiyun.com/Kerrwy/article/details/80330802
  https://cloud.tencent.com/developer/news/208552

转换ResNet到SpikingResNet的机制

在这里插入图片描述

关键细节

  通过假定Relu单元可以近似脉冲神经元的发放率，文章用IF神经元代替Relu。输入方式是图片输入，第一层卷积之后根据是否大于阈值判断输出脉冲。训好的权重先进行归一化，再根据BN缩减（论文中的2式）使用。

  为了保持单元最大脉冲发放率，文章通过block的最大激活值来标准化block的输出。

（笔记）脉冲深度残差网络Spiking Deep Residual Network
yingpeng_zhong的博客
05-13 1924
原文链接 摘要 方法一 方法二 实验 原文链接 https://arxiv.org/abs/1805.01352 摘要 本文提供一种有效的把ResNet转成脉冲神经网络(SNN)的方法。主要提出两个方法。 一，针对残差结构的归一化，把连续激活函数值转成发射频率（firerate）。 二，分层的误差补偿。 方法一 针对残差结构的归一化，把连续激活函数值转成发射频率（f...
Spiking Deep Residual Network阅读笔记
Kerrwy的博客
05-15 1315
Spiking Deep Residual Network 1. 摘要 近些年，SNN由于它的生物可塑性吸引了大众注意力。理论上，SNN具有与ANN一样的计算能力，而且在功耗方面要比ANN更加节能。但是，在目前看来，训练一个很深的SNN依旧存在很大困难。本篇文章，提出了一个方法来构造ResNet的脉冲版本。我们把训练好的ResNet网络转化为脉冲神经元组成的SpikingResNet。为了...
Python-PyTorch实现PyramidNetsDeepPyramidalResidualNetworks
08-11
PyTorch实现PyramidNets (Deep Pyramidal Residual Networks)
Spiking Deep Residual Network神经网络实现
weixin_43872912的博客
09-08 617
可以确定这是个ANN-to-SNN的算法。 深度残差网络的残差网络块： CNN版本： 做法：用原数据进行3次卷积操作先生成一个结果F(x)，然后进行一次卷积生成一个结果identity。最后残差单元的结果就是identity+F（x）。 为什么这么做：因为多次卷积会导致一些细节消失，而且深层网络到最后也存在着梯度消失或者爆炸的问题。这个时候identity的引入，会加强特征效果，减缓训练速度，但在一定程度上也强化了训练速度。 每一次卷积完以后都要进行一次批归一化处理，这个函数使结果x=wx+b各个维度均值
论文阅读——Spiking Deep Residual Network
weixin_43872912的博客
07-07 524
**摘要：**对于SNN来说，训练深层SNN仍然是一个巨大的挑战，而ResNet是一个先进的卷积神经网络可以训练深层的神经网络。所以就产生了将卷积的深度残差网络转换到脉冲版本的念头。将一个被训练的ResNet变成一个脉冲神经元网络——S-ResNet。我们提出了一个捷径转换模型去大致的估量持续值的激活函数去匹配脉冲神经网络中的发放率，和一个补偿的机制去减少因为离散化造成的误差。 相关工作 因为SNN这样的系统随着事件到达异步更新，因此减少操作数被要求在每一个时间步骤。 现在如何去训练一个脉冲神经网络仍然是一
最新论文阅读（14）--Spiking Deep Residual Network
wydbyxr的博客
06-07 970
Spiking Deep Residual Network - - Spiking Neural Network - 浙江大学和四川大学 　　脉冲神经网络（SNN）在生物理论中备受关注。理论上，SNN具有与ANN一样的计算能力，而且在功耗方面要比ANN更加节能。但是，在目前看来，训练一个很深的SNN依旧存在很大困难。 　　本文提出了一种脉冲版本的 ResNet。我们把训练好的ResNet...
[NeurIPS2021] Deep Residual Learning in Spiking Neural Networks【文献精读、翻译】
qq_22841387的博客
06-29 1387
在本文中，我们分析了之前的Spiking ResNet，其残差块模仿了ResNet的标准块，发现它几乎无法实现恒等映射，并且存在梯度消失/爆炸的问题。为了解决这些问题，我们提出了SEW残差块，并证明其可以实现残差学习。ImageNet、DVS Gesture和CIFAR10-DVS数据集上的实验结果表明，我们的SEW残差块解决了退化问题，通过简单增加网络深度，SEW ResNet可以实现更高的准确率。我们的工作可能为‘非常深’的SNNs的学习带来启示。
ICLR 2024 - Spike-driven Transformer V2 - Meta Spiking Neural Network Architecture Inspiring the Des
画心
08-16 2043
具体来说，本文将 NeurIPS 2023 发表的第一版工作中的脉冲驱动的 Transformer 扩展为元架构，并探索了结构、脉冲驱动自注意力和跳跃连接对其性能的影响。
Going Deeper in Spiking Neural Networks：VGG and Residual Architectures笔记
myc的博客
09-08 1462
摘要 论文提出了一种将ANN网络转换成SNN的算法，并证明了该算法在复杂视觉识别问题(如cifar-10和ImageNet)中的有效性。 介绍 将ANN直接转换成SNN时，在SNN上的性能远低于ANN，这是因为应为SNN中拥有处理时序信息的能力，这点与ANN有很大的区别 相关工作 略 主要贡献 1、针对ANN转SNN，提出几个ANN结构的约束。 2、提出AN...
convolution backbone network——Deep Pyramidal Residual Networks
怡宝2号
05-13 1261
深度特征金字塔残差网络 paper: github: 单位： 韩国科学技术院；在2018QS世界大学排名中位列世界40位 [2] ；在2014年的QS亚洲排名中位列第2位 [3] ，比清华，北大还牛。 摘要： 近年来，深度卷积神经网络（DCNN）在图像分类任务中表现出了显着的性能。通常，深度神经网络结构是由大量的卷积层组成的堆栈，并且它们通过池化沿着空间维度执行下采样以减少存储器的使用时间。同...
Deep Pyramidal Residual Networks——深度金字塔残差网络
最新发布
Together_CZ的博客
02-25 786
Deep Pyramidal Residual Networks——深度金字塔残差网络
《17.Deep Pyramidal Residual Networks》
u010067397的专栏
11-30 1712
what 残差结构对比 本文也是一种残差结构，只是逐渐增加特征通道数，而不是像以前的一样，在下采样之后双倍特征图。 why ResNet参数多了，删除下采样单元（双倍特征维度）仍然导致表现下降 how 每一个单元特征数目增加 网络结构 α\alphaα是一个超参数，文中=48； 这里不能直接使用恒等映射，因为通道数数目不一样，文中使用zero-padding ...
【论文】Deep Pyramidal Residual Networks（译）
pangpd的博客
04-07 2349
论文贡献 提出了一种新的残差单元（移除了Pre-activation ResNet残差单元中的Relu函数） 设计了一种逐步增加所有单元的特征图维数的金字塔残差结构 Abstract ​ 近年来，深卷积神经网络（DCNNs）在图像分类中表现出了显著的性能。一般来说，深度神经网络结构是由大量卷积层构成的堆栈，它们通过池来沿空间维度执行下采样，以减少内存使用。同时，特征映射维数（即通道数...
Deep Pyramidal Residual Networks for Spectral-Spatial HSIs Classification（2019）——深度学习论文笔记（二）
immortal的小屋
05-28 1346
Deep Pyramidal Residual Networks for Spectral-Spatial Hyperspectral Image Classification（2019） Abstract   CNNs在图像处理任务上表现良好，但由于高光谱影像自身的复杂性（高维，信息冗余，有噪声等），标准的CNN方法不能提取出discriminative spectral-spatial fea...
卷积神经网络学习路线（十三）| CVPR2017 Deep Pyramidal Residual Networks
I good vegetable a!
08-22 1165
论文原文 https://arxiv.org/abs/1610.02915 2018年由韩国科学技术院的Dongyoon Han, Jiwhan Kim发表。 摘要 近年来，深度卷积神经网络在图像分类任务中表现出了卓越的性能。通常，深度神经网络结构是由大量的卷积层堆叠而成，并且使用池化不断的减小图片的分辨率。同时，特征映射维度在下采样的地方急剧增长，这对于确保性能是必要的，因为它增加了高级属性的多...
【论文笔记】Deep Residual Learning in Spiking Neural Networks
uknoweve的博客
09-06 1244
实现脉冲版本的ResNet即SEW ResNet。SEW ResNet可以克服Spiking ResNet的缺点，实现恒等映射、解决梯度消失/爆炸问题、加深模型深度（超过100层）。
论文阅读：Deep Residual Learning in Spiking Neural Networks
qq_41550996的博客
10-17 1765
以前的Spking-ResNet模拟了ann中的标准残差块，只是简单地将ReLU激活层替换为spike神经元，存在退化问题，很难实现残差学习。这篇文章主要提出了spike-element-wise (SEW) ResNet来实现深度snn中的残差学习。 1. 引言 Spiking ResNet作为ResNet的spike版本，通过模拟ann中的残差块，用spike神经元替换ReLU激活层而提出。由ANN转换的spike ResNet在几乎所有的数据集上都达到了最高的精度，...
【脉冲版ResNet】浙大&川大提出：继承ResNet优势，实现当前最佳
u011511601的专栏
05-19 1283
今天看到一篇文章，晚点细看论文。转自知乎：选自arXiv，作者：Yangfan Hu等，机器之心编译。脉冲神经网络（SNN）具有生物学上的合理性，并且其计算潜能和传统神经网络相同，主要障碍在于训练难度。为解决这个问题，浙江大学和四川大学近日提出了脉冲版的深度残差网络 Spiking ResNet。为解决模型转换的问题，研究者提出了一种新机制，对连续值的激活函数进行标准化，以匹配脉冲神经网络中的脉冲...
Spiking neural network
01-13
### 脉冲神经网络简介及其在人工智能中的应用 #### 定义与特点 脉冲神经网络 (Spiking Neural Network, SNN) 是一种模仿生物神经系统工作原理的人工神经网络模型。SNN 中的神经元通过离散的时间事件——即脉冲或尖峰来传递信息，这使得其更接近于大脑的实际运作机制[^1]。 #### 工作原理 在一个典型的 SNN 架构里，当输入信号达到一定阈值时，神经元会产生一个脉冲并将其发送给其他相连的神经元。这种基于时间的信息处理方式允许 SNN 更高效地模拟复杂的动态过程，并且能够更好地适应实时数据流的任务需求[^2]。 #### 应用于模式识别 对于模式识别任务而言，渐进式串联学习方法被证明可以有效提升 SNN 的性能表现。该技术利用多个阶段逐步训练网络的不同部分，在保持较低功耗的同时实现了较高的分类精度。 ```python import snntorch as snn from torch import nn class SNNLayer(nn.Module): def __init__(self, input_size, hidden_size): super(SNNLayer, self).__init__() self.fc = nn.Linear(input_size, hidden_size) self.lif = snn.Leaky() def forward(self, x): spk_out, mem_potential = self.lif(self.fc(x)) return spk_out, mem_potential ``` 此代码片段展示了如何定义一个简单的SNN层，其中包含了线性变换和Leaky Integrate-and-Fire(LIF)类型的神经元模型。 #### 映射到神经形态硬件 为了使 SNN 可以运行在专用的低能耗设备上，研究者们开发出了多种针对特定架构优化过的映射算法。这些算法通常会考虑如何有效地分配计算资源以及减少通信开销等问题。 #### 卷积结构下的发展 近年来，随着卷积操作引入至 SNN 设计当中，出现了许多新颖而高效的深层架构。这类改进不仅增强了系统的表达能力，还进一步拓宽了应用场景范围，比如图像视频分析等领域[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值