My Blogs

摘要:在本文中，我们解决了减少ResNet类卷积网络架构的内存占用问题。我们引入了一种矢量量化(Vector Quantization)方法，旨在保持网络输出的重建质量而不是其权重。 我们的方法的优点是它最小化了域内输入(in-domaininputs)的损失重建误差，并且不需要任何标记数据。 我们还使用字节对齐的码本(byte-aligned codebooks t)来生成压缩网络，并对C...

Abstract之前的研究工作都是基于"较小范数不重要"的准则上裁剪神经网络中具有较小范数的卷积核.在这篇论文中,我们分析了基于范数准则并指出该准则的有效性依赖于两个要求,但这两个要求很少同时得到满足.第一,卷积核的范数值分布偏差必须大,即方差大;第二,卷积核中的最小范数必须足够小. 为了解决在不满足上述两个要求的情况下也能压缩网络,本文提出了一个新颖的卷积核剪枝方法,称为基于几何中值的卷积核...

Abstract神经网络的广泛应用伴随着计算量的增加和参数存储成本. 最近的研究工作在不损害原来准确度的基础上,通过剪枝和压缩不同层间的权重进行网络压缩. 然而,基于幅值的剪枝(magnitude-based pruning)仅能够减少全连接层的参数,而由于修剪网络中的不规则稀疏性,可能无法充分降低卷积层中的计算成本.我们提出了一个加速的剪枝方法,即修剪那些被认为对输出准确度有很小影响的...