45、卷积神经网络架构与应用实战

卷积神经网络架构与应用实战

1. 可分离卷积层与竞赛模型

可分离卷积层相较于常规卷积层，使用的参数更少、占用内存更少且计算量更小，通常表现也更优。因此，除了在通道数较少的层之后，默认情况下可以考虑使用可分离卷积层。

在ILSVRC 2016竞赛中，香港中文大学的CUImage团队夺冠。他们采用了多种技术的集成，包括名为GBD - Net的复杂目标检测系统，实现了低于3%的前五错误率。不过，该解决方案的复杂性与ResNets的简洁形成了鲜明对比。而在一年后，另一种相当简单的架构表现更为出色。

2. SENet架构

ILSVRC 2017竞赛的获胜架构是挤压与激励网络（SENet）。它对现有架构（如Inception网络和ResNets）进行了扩展，提升了它们的性能，以惊人的2.25%前五错误率赢得了竞赛。扩展后的Inception网络和ResNets分别被称为SE - Inception和SE - ResNet。

SENet通过在原始架构的每个单元（即每个Inception模块或每个残差单元）中添加一个名为SE块的小型神经网络来提升性能。SE块专注于分析所连接单元输出的深度维度，学习哪些特征通常会一起被激活，然后利用这些信息重新校准特征图。

例如，SE块可能会学习到在图片中嘴巴、鼻子和眼睛通常会一起出现。如果嘴巴和鼻子的特征图有强烈激活，而眼睛的特征图只有轻微激活，SE块会增强眼睛的特征图（更准确地说，是减少无关的特征图），帮助解决特征混淆的问题。

SE块由三层组成：全局平均池化层、使用ReLU激活函数的隐藏密集层和使用sigmoid激活函数的密集输出层。具体流程如下：
1. 全局平均池化