构建机器学习算法和剪枝

1、构建机器学习算法

几乎所有的深度学习算法都可以被描述为一个相当简单的配方：特定的数据集、代价函数、优化过程和模型。

在大多数情况下，优化算法可以定义为求解代价函数梯度为零的正规方程。

通常代价函数至少含有一项使学习过程进行统计估计的成分。最常见的代价函数是负对数似然,最小化代价函数导致的最大似然估计。

组合模型、代价和优化算法来构建学习算法的配方同时适用于监督学习和无监督学习。在某些情况下,由于计算原因,我们不能实际计算代价函数。在这种情况下,只要我们有近似其梯度的方法,那么我们仍然可以使用迭代数值优化近似最小化目标。

２、pruning剪枝

2.1　深度学习减枝背景

随着2012年Alextnet的横空出世，其远超传统方法的分类准确率让深度学习重新走进人们的视野。为提高网络的性能，神经网络逐渐朝着越来越深和越来越宽的方向发展，参数数量随之激增。例如vgg对alexnet进行改进，在简单二分类问题上，实测网络模型大小达到了150MB。而在资源受限的场景中，例如移动设备，计算和存储资源有限，大尺寸网络的模型难以应用。

 

                                 &