这篇论文探讨了如何利用ReLU激活函数产生的网络输出稀疏性来加速卷积神经网络的计算。通过避免计算零值输入对应的卷积，可以显著减少计算冗余。实验表明，当网络层稀疏度大于0.6时，这种方法能有效提高计算速度。然而，对于稀疏度较低的层，这种方法的优势不明显。文章提出，可以通过添加损失函数约束来增加输出的稀疏性，但这可能影响网络性能，需要进一步研究。
一篇讲利用ReLU输出的稀疏性来加速卷积计算的论文，其目的和另一篇文章《More is less》 有点类似。
实验效果似乎还不错，但似乎并没有很大的创新。
文章链接： 《Speeding up Convolutional Neural Networks By Exploiting the Sparsity of Rectifier Units》
Motivation
下图的结论是：使用ReLU作为激活函数的网络，其网络输出通常都非常稀疏。
另一方面，目前的稀疏矩阵运算效率并不高。
Method
只要弄明白卷积的机制，就很容易明白本文干了什么。
通常使用ReLU作为激活函数会导致输出
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
