我是一只比菜鸟还菜的菜鸟！

论文链接：http://arxiv.org/pdf/1512.03385.pdfResNet最根本的动机就是所谓的“退化”问题，即当模型的层次加深时，错误率却提高了，如下图：

GitHub网址 https://github.com/LJianlin/Model-Compression-Papers

Top-1错误率对一个图片，只判断概率最大的结果是否是正确答案。Top-5错误率对一个图片，判断概率排名前五中是否包含正确答案。

[CVPR '16]论文链接：https://arxiv.org/abs/1512.06473代码链接：https://github.com/jiaxiang-wu/quantized-cnn文章中使用的是PQ量化方法，同时提出了量化误差的校正方案。

[NIPS '16]论文地址：https://arxiv.org/pdf/1602.02830.pdf代码地址：https://github.com/MatthieuCourbariaux/BinaryNet这篇文章提出了一个新的网络：二值化网络(BNN)，在运行时使用二值权重和激活。在训练时，二值权重和激活用于计算参数梯度。即网络权重和激活参数只有1和-1两种。

这篇文章基于Winograd开创的最小滤波算法，介绍了一类新的卷积神经网络快速算法。针对卷积计算方式而言，与直接卷积相比，该算法可以将卷积层的算术复杂度降低4倍。算法部分对于最小滤波算法而言，使用r维滤波器计算m个输出(称之为F(m,r))需要m+r-1次乘法计算。标准计算而言的话，需要m×r次乘法计算。对于1-D卷积：输入x=[1,2,3,4]，卷积核大小为3×1(r=3)，k=[...

为了减少深度卷积神经网络（CNN）中的显着冗余，大多数现有方法仅通过考虑单个层或两个连续层的统计来修剪神经元（例如，修剪一个层以最小化下一层的重建误差），忽略深度网络中误差传播的影响。相反，我们认为必须根据统一的目标联合修剪整个神经元网络中的神经元：最小化“最终响应层”（FRL）中重要响应的重建误差，这是之前的倒数第二层分类，用于修剪网络以重新训练其预测能力。具体来说，我们应用特征排序技术来测...