19、高效神经网络架构：从手动设计到自动搜索

高效神经网络架构：从手动设计到自动搜索

1. 引言

在神经网络的发展过程中，高效的网络架构设计至关重要。传统的手工设计方式不仅耗时，而且往往难以达到最优。因此，自动设计神经网络架构的方法逐渐成为研究热点。本文将介绍一些高效的神经网络架构设计方法，包括组卷积、通道混洗操作、模型加速技术，以及神经网络架构搜索（NAS）和硬件感知的NAS技术。

2. 高效神经网络架构基础

2.1 组卷积

组卷积的概念最早在AlexNet中提出，用于将模型分布在两个GPU上。在ResNeXt中，组卷积的有效性得到了充分证明。深度可分离卷积在Xception中被提出，它推广了Inception系列中的可分离卷积思想。最近，MobileNet利用深度可分离卷积在轻量级模型中取得了最先进的成果。

2.2 通道混洗操作

通道混洗操作在之前的高效模型设计工作中很少被提及。虽然CNN库cuda - convnet支持“随机稀疏卷积”层，相当于随机通道混洗后接组卷积层，但这种“随机混洗”操作目的不同且很少被后续利用。最近，也有工作将其用于两阶段卷积，但未专门研究通道混洗本身的有效性及其在微小模型设计中的应用。

2.3 模型加速

模型加速旨在在保留预训练模型准确性的同时加速推理。常见的方法包括：
- 剪枝 ：修剪网络连接或通道，减少预训练模型中的冗余连接，同时保持性能。
- 量化和因式分解 ：减少计算中的冗余以加速推理。
- 优化卷积算法 ：如使用FFT等方法，在