深度压缩：神经网络的高效存储与计算
本文介绍了一种深度压缩方法，通过网络剪枝、量化和霍夫曼编码来减小神经网络的存储和计算需求。该方法包括删除不重要的连接，对权重进行量化和共享，以及使用霍夫曼编码优化存储。实验表明，这种方法可以在不牺牲性能的情况下，显著压缩神经网络，使其更适合在移动设备上运行。
本次介绍的方法为“深度压缩”，文章来自2016ICLR最佳论文 《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding
作者给出了AlexNet的一个简易model: https://github.com/songhan/Deep-Compression-AlexNet
，不过这model没什么软用
Introduction
神经网络功能强大。但是，其巨大的存储和计算代价也使得其实用性特别是在移动设备上的应用受到了很大限制。
所以，本文的目标就是：降低大型神经网络其存储和计算消耗，使得其可以在移动设备上得以运行，即要实现 “深度压缩”。
实现的过程主要有三步：
（1） 通过移除不重要的连接来对网络进行剪枝；
（2） 对权重进行量化，使得许多连接共享同一权重，并且只需要存储码本(有效的权重)和索引；
（3） 进行霍夫曼编码以利用有效权重的有偏分布；
具体如下图：
Network Pruning
“剪枝”详细点说也可以分为3步：
（1） 进行正常的网络训
最低0.47元/天 解锁文章
扫一扫
640
到【灌水乐园】发言
