VALSE 2017 | 神经网络模型压缩优化方法

​本文 首发在个人微信公众号：计算机视觉life上。

近年来，深度神经网络在计算机视觉、语音识别等领域取得了巨大成功。为了完成更加复杂的信息处理任务，深度神经网络变得越来越深，也使得其计算量越来越大。然而，手机、车载等移动端应用对深度神经网络的需求越来越多，因而深度神经网络模型的压缩、加速、优化变的越来越重要。这也是本届VALSE的热点之一。

深度学习算法是计算密集型和存储密集型的，这使得它难以被部署到资源有限的嵌入式系统上。优化一般有以下两个方向：

1、通过减少参数数量，达到模型压缩的目的。而压缩基于一个很重要的理论，即神经网络模型通常是过参数化的，也就是说，我们通常不需要那么多参数 就可以表达出模型特征。

2、通过节省计算，降低计算量，达到模型运算加速的目的。

今年的VALSE大会上，关于神经网络模型的压缩、加速、优化主要有如下几个报告：

1、原微软亚洲研究院首席研究员、旷世科技研究院院长孙剑，介绍了旷视科技在网络模型加速和压缩方面的工作。

2、中科院自动化研究所模式识别国家重点实验室研究员、人工智能与先进计算联合实验室主任程健，作了“深度神经网络快速计算方法”的tutorial。

3、新加坡国立大学教授、360人工智能研究院院长颜水成教授作了“深度学习的三个维度：Compactness,Speed, and Accuracy”的特邀报告。