shentanyue的博客

转：https://blog.youkuaiyun.com/u014380165/article/details/79811779论文：Channel Pruning for Accelerating Very Deep Neural Networks 论文链接：https://arxiv.org/abs/1707.06168 代码地址：https://github.com/yihui-he/chan...

《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding原作者基于Alex的代码：https://github.com/songhan/Deep-Compression-AlexNet 用Caffe实现：https://github.co...

前言在前两章，我们介绍了一些在已有的深度学习模型的基础上，直接对其进行压缩的方法，包括核的稀疏化，和模型的裁剪两个方面的内容，其中核的稀疏化可能需要一些稀疏计算库的支持，其加速的效果可能受到带宽、稀疏度等很多因素的制约；而模型的裁剪方法则比较简单明了，直接在原有的模型上剔除掉不重要的filter，虽然这种压缩方式比较粗糙，但是神经网络的自适应能力很强，加上大的模型往往冗余比较多，将一些参数剔除...

前言上一章，将基于核的稀疏化方法的模型压缩方法进行了介绍，提出了几篇值得大家去学习的论文，本章，将继续对深度学习模型压缩方法进行介绍，主要介绍的方向为基于模型裁剪的方法，由于本人主要研究的为这个方向，故本次推荐的论文数量较多，但都是非常值得一读的。基于模型裁剪的方法对以训练好的模型进行裁剪的方法，是目前模型压缩中使用最多的方法，通常是寻找一种有效的评判手段，来判断参数的重要性，将不重要...

最近在研究深度学习的模型压缩，看到几篇总结的很不错的文章，记录一下。转:https://blog.youkuaiyun.com/wspba/article/details/75671573 前言目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好...

1.研究背景对模型预测精度无明显影响 压缩模型的参数数量、深度来降低模型空间复杂度  全连接层参数多，模型大小由全连接层主导 不显著提高训练时间复杂度，降低预测时间复杂度（计算量）  卷积层计算量大，计算代价由卷积操作主导 2.方法2.1.更精细模型的设计Aggregated Residual Transformations for Deep Neural Networ...

前言因为最近都在关注深度学习模型压缩相关的工作，所以今天给大家介绍的也是一篇关于模型压缩的方法。这是一篇非常有意思的工作，来自于三星研究院在ICLR2017上发表的论文：DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices。常用的模型压缩手段往往是从网络的...