TCL: an ANN-to-SNN Conversion with Trainable Clipping Layers 阅读总结

ABSTRACT

转换后的SNN存在准确性和延迟之间的权衡关系，在大型数据集中会造成相当大的延迟。本文提出了一种名为TCL的技术来缓解这种权衡关系的问题，使得ImageNet 在250个的步长延迟下具有73.87%（VGG-16）和70.37%(ResNet-34)的准确率。

1.INTRODUCTION

感觉几乎每篇论文的introduction介绍背景都十分相似，这里就不再赘述
本文的主要工作：
1.阐述了为什么转换snn的精度和延迟之间存在权衡关系，表明如何缓和这种权衡关系（3.1节）
2.提出了一种基本技术来改善SNN的准确性和延迟之间的权衡关系，即采用可训练裁剪层(TCL)。我们确保在一个ReLU层后都有一个裁剪区域经过训练裁剪层，找到最优的数据归一化因子，以考虑snn中的准确性和延迟。（3.2节）
3.通过适当控制了L2正则化系数，我们进一步提高了极低延迟约束下的SNN精度。（4.1节）

2.PRELIMINARY BACKROUNDS

2.1 Spiking Neural Networks theory

采用经典的IF模型，$z_i^l(t)$为l层第i个神经元t时刻的总输入，${\theta }_j^{l-1}(t)$为l-1层第j个神经元t时刻是否产生脉冲，$W_{ij}^l$为l-1的i神经元与l层的j神经元间的权重，$V_i^l(t)$为l层i神经元t时刻的电压，$V_{thr}^l$为l层的电压阈值
有公式如下，相信大家都已经比较熟悉：

2.2 ANN to SNN conversion

ANN中的RELU激活函数作用如下，使得l层i神经元的总输入$a$