shuzfan的专栏

压缩的核心剪枝再训练 算法流程 剪枝准则 实验分析本次介绍的依然是压缩网络的方法，不过有了具体的应用场景：压缩的模型是DeepID2+。方法来源于《2015 arxiv: Sparsifying Neural Network Connections for Face Recognition》，文章是王晓刚、汤晓鸥团队的，所以结果依旧很漂亮，但谁又能保证没点trick呢。T_T 压缩的核心：剪

本次介绍一种内存利用率高且速度较快的卷积计算方法。 来自ICML2017, 《MEC: Memory-efficient Convolution for Deep Neural Network》1. 背景工作目前的CNN模型中，全连接层往往在最后一层才会使用。 意思也就是说，网络的主体是由卷积层构成的。 因此，加快卷积层的计算对于整个网络的性能至关重要。目前，卷积的计算大多采用间接计算的方式，主要有

本文介绍旷视科技最近提出来的ShuffleNet, 目的同样也是利用特殊的网络结构达到参数少速度快的效果。文章链接： 《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》

本次介绍Google的Xception网络，该网络的目的或者说达到的效果是：模型参数量同GoogLeNet Inception V3相近的情况下取得更好的网络性能。文章链接: 《Xception: Deep Learning with Depthwise Separable Convolutions》caffe实现的Xception: https://github.com/yihui-he/Xcep

一篇讲利用ReLU输出的稀疏性来加速卷积计算的论文，其目的和另一篇文章《More is less》 有点类似。实验效果似乎还不错，但似乎并没有很大的创新。《Speeding up Convolutional Neural Networks By Exploiting the Sparsity of Rectifier Units》

一篇讲网络加速的论文，来自2017CVPR。《More is Less: A More Complicated Network with Less Inference Complexitv》Introduction 目前做神经网络加速的主要有这几个方面： 低秩分解，定点运算、矢量量化、稀疏表示、特殊的轻量级网络结构。

一篇讲如何设计轻量级网络的文章，来自Google，方法和创新不是很多，但实验太充分。不愧是谷歌，财大气粗，实验随便跑。文章链接： 《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》文章共从三点来探讨网络加速，下面依次介绍这三点以及部分关键性的实验。Depthwise Separabl

Hinton大牛的文章，关于如何得到一个又小又好的网络的。文章链接《Distilling the Knowledge in a Neural Network》 —————————— 背景介绍 —————————— 大家都想要得到一个又好又快的模型，但是实际情况往往是模型越小则性能越差。文献[1]中提出了一种策略：大模型学习到的知识可以通过“提取”的方法转移到一个小模型上 。所以，本文的宏观策略就是

这里介绍2017ICLR OpenReview中的一篇有关网络加速的文章《DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices》。 看文章标题觉得高大上，看方法细节觉得卧槽好水，看自己的验证结果好像还有点用。附：2017ICLR openreview http:

这里介绍2017ICLR OpenReview中的一篇有关网络压缩的文章《Training Compressed Fully-Connected Networks with a Density-Diversity Penalty》。 **看文章标题就知道主要是针对全连接层的，由此我的好感就下降了一半。———————— 引言 ———————— 作者拿VGG说全连接层会占很多资源，压缩这个最重要。好

本次介绍的方法为“深度压缩”，文章来源与2016ICLR最佳论文 《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman CodingIntroduction神经网络功能强大。但是，其巨大的存储和计算代价也使得其实用性特别是在移动设备上的应用受到了很大限制。所

本次介绍的是怎样通过对训练数据进行缩减以及召回而加快网络训练速度，《Accelerating Deep Learning with Shrinkage and Recall》。这篇文章给人的感受就是：想法很简单，实现的也很粗糙。但是，问题的角度比较新颖，而且感觉有很大空间可以继续挖掘。 Motivation实现Motivation深度神经网络训练比较慢，原因基本可以归为2个方面：模型太大 和

本次介绍的是一种压缩神经网络模型大小的方法，来自《2014 arxiv：Compressing Deep Convolutional Networks using Vector Quantization》。该方法和很多之前的神经网络压缩方法一样，基本只对全连接层有效，因此这里权作了解。由论文名可以看出，主要是对密集权重矩阵进行量化编码来实现压缩。论文做了很多种量化方法的对比试验，不过都只针对全连接层

一个利用低精度和量化技术实现的神经网络压缩与解决方案。 个人认为，这是低精度量化方面少有的具有高度工程可行性的一个方案(虽然文中没有给出详细的模型大小速度方面的指标)。文章链接： 《ShiftCNN: Generalized Low-Precision Architecture for Inference of Convolutional Neural Networks》模型转换示例代码： http