模型压缩总结（完）

模型压缩总结
1. 核参数稀疏
在损失函数中添加使得参数趋向于稀疏的项，
使得模型在训练过程中，其参数权重趋向于稀疏。

2. 权重矩阵低秩分解
核心思想就是把较大的卷积核分解为两个级联的行卷积核和列卷积核，
例如 33卷积分成 13卷积和 31卷积 级联。
这里对于11的卷积核无效。

3. 剪枝
可分为在filter级别上剪枝或者在参数级别上剪枝：
a. 对于单个filter，有阈值剪枝方法，将filter变得稀疏。
b. 宏观上使用一种评价方法(能量大小)来计算每个filter的重要性得分，
去除重要性低的filter。

4. 量化
a. 降低数据数值范围
单精度浮点数（32）-> 半精度浮点数（16）
->无符号(8) -> 三值 -> 二值
b. 聚类编码实现权值共享的方法
对卷积核参数进行k_means聚类，得到聚类中心。，
对原始参数，使用其所属的中心id来代替。
然后通过储存这k个类别的中心值，以及id局矩阵来压缩网络。

5. 迁移学习
通过将较大较复杂较优秀的网络(老师)中的有用信息提取出来迁移到一个更小的网络上(学生)，
这样学习来的小网络可以具备和大的复杂网络相想接近的性能效果，实现网络的压缩。
转载自万有文的博客：ewenwan.github.io