针对深度学习模型优化问题研究

深度学习模型的有效容量（模型复杂度）的问题

1、线性模型

基于范数的或基于间距的测度

基于范数的或基于间距的测度经常被用于在优化过程中作为正则项Reg(.)来控制模型的有效容量。

在矩阵分解中，基于迹范数（trace norm）或最大范数（max norm）的测度则常被使用

2、深度网络模型

权重的大小是相比于参数量的个数是对其模型复杂度更好的描述

基于深度学习模型中权重空间的正尺度伸缩不变性

提出了基于路径范数的有效容量测度
2017年提出，相比于深度学习模型权重的ｉ范数或２范数，谱范数（ｓｐｅｃｔｒａｌ
ｎｏｒｍ）可以更好的描述并控制深度学习模型的有效容量

3、从其他角度对深度学习模型的有效容量进行描述

3.1 锐利度（sharpness）来衡量深度学习模型的模型复杂度

3.2 使用PAC-Bayes来分析深度学习模型的有效容量

二、对深度学习模型的压缩与加速基本有以下几个方面：

①基于权重的裁剪－其基本思想为将深度学习模型中的一些”不重要”的权重连边进行裁剪，被裁减的权重在计算模型的输出时默认输出为0。可以通过对深度学习模型进行权重裁剪从而降低权重数量，降低模型的存储开销。
2‘量化模型－量化模型的思想在于使用更低的精度（比特位宽）来表示、优化深度学习模型。量化模型可以压缩深度学习模型的存储量，同时由于计算机处理器对位运算处理速度更快，因此也可以加速模型的计算。
③修改模型－研究人员们