张祥雨博士：高效轻量级深度模型的研究和实践 - AI procon大会

旷视研究院主任研究员张祥雨在AI ProCon大会上分享了高效轻量级深度模型的研究，涵盖轻量级架构、模型搜索和模型裁剪。他强调基础模型在视觉系统中的核心作用，并介绍了ShuffleNet系列、ThunderNet和DFANet等高效模型，以及Single Path One-Shot NAS和MetaPruning等自动化设计方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

张祥雨，现任旷视研究院主任研究员、基础模型组负责人，带领组里30多位年轻人为旷视寻找下一个兼具学术和产业价值的算法模型。2017年博士毕业于西安交通大学。期间参加西交大-微软亚洲研究院联合培养博士生项目，师从孙剑博士和何恺明博士。目前团队研究方向包括高性能卷积网络设计、AutoML与自动化神经网络架构搜索、深度模型的裁剪与加速等。已在CVPR/ICCV/ECCV/NIPS/TPAMI等顶级会议/期刊上发表论文二十余篇，获CVPR 2016最佳论文奖，Google Scholar引用数38000+。多次获得顶级视觉竞赛如ImageNet 2015、COCO 2015/2017/2018冠军。代表作包括ResNet、ShuffleNet v1/v2等，均在业界得到广泛应用。

人物轶事：
张祥雨----孙剑的第一个深度学习博士

跟旷视研究院院长孙剑的经历一样，张祥雨也是一名“土生土长”的西安交大人，从本科到博士都在西安交大就读，在大三那年（2011年），张祥雨拿下了美国大学生数学建模竞赛（MCM）特等奖提名奖（Finalist），当时创下西安交大参加该项竞赛以来历史最好成绩。凭借这次获奖经历，张祥雨获得了后来到微软亚洲研究院实习的资格。获得实习资格的有三人，但最终只有一个人能留下。当时还在微软亚洲研究院担任首席研究员的孙剑给这三人出了一道题：用一个月的时间，将人脸检测的速度提升十倍。这个任务现在来看比较容易实现，但当时还没有引入深度学习，张祥雨就靠着对模型调参，用了三天左右的时间完成任务，孙剑看过之后当场决定留下张祥雨。张祥雨之前并没有做科研的经验，这次有意思的实习考验让他初尝到做科研的成就感。他也意识到走学术路线，需要到产业界去锻炼。到了微软之后，张祥雨加入了视觉计算组，这个小组里的每一位成员名字放在当下来看都是业界大牛：小组负责人孙剑，组员包括何恺明、危夷晨、代季峰、袁路、曹旭东、任少卿等。在组里，张祥雨尤其擅长编程，并且还是唯一一个会CUDA人。刚加入小组时，就凭借这一技之长成为多个项目的核心成员，比如帮助危夷晨做Head Dance游戏，为袁路做浏览器图片布局等。2013年，张祥雨面临一个重要选择：博士课题。当时受微软亚洲研究院工作的一些影响，张祥雨倾向于做人脸这个领域。但是导师孙剑果断让他去做深度学习，“孙老师认为Deep learning以后必然会火，他一直非常有前瞻力，我很相信他”。
于是，张祥雨就成了孙剑组里第一个做深度学习的博士生。

基础模型是现代视觉识别系统中一个至关重要的关注点。基础模型的优劣主要从精度、速度或功耗等角度判定，如何设计模型应对复杂应用场景是非常重要的课题。

基础模型是最为关键的点有两层含义：第一，一个好的基础模型对整个系统的性能提升是决定性的，从精度或者从准确率来说优秀的基础模型起到了本质的作用。第二，从模型的实用性来说，搞深度学习的都知道基础模型通常占据了视觉系统的绝大部分运行时间，也吃了绝大多数运行功耗和存储。不管从精度还是从速度或功耗的角度，基础模型都是视觉系统的核心部分。

近日，由新一代人工智能产业技术创新战略联盟（AITISA）指导，鹏城实验室、北京智源人工智能研究院支持，专业中文 IT 技术社区优快云主办的 2019 中国 AI 开发者大会（AI ProCon 2019）在北京举办。在计算机视觉技术专题，旷视研究院主任研究员、基础模型组负责人张祥雨主要从轻量级架构、模型裁剪、模型搜索三大思路讲述了高效轻量级深度模型的研究和实践。