44、卷积神经网络：从架构到实践

卷积神经网络：从架构到实践

1. 可分离卷积层的优势

在实践中，可分离卷积层通常表现更优。与常规卷积层相比，可分离卷积层使用的参数更少、占用的内存更少，计算量也更小，而且总体性能往往更好。因此，除了在通道数较少的层之后，默认情况下可以考虑使用可分离卷积层。

2. 图像识别挑战中的优秀架构

2.1 ILSVRC 2016 冠军架构

ILSVRC 2016 挑战赛的冠军是香港中文大学的 CUImage 团队。他们综合运用了多种技术，包括名为 GBD - Net 的复杂目标检测系统，实现了低于 3% 的前 5 错误率。不过，该解决方案的复杂性与 ResNet 的简洁形成了鲜明对比。

2.2 SENet：ILSVRC 2017 冠军架构

ILSVRC 2017 挑战赛的获胜架构是挤压 - 激励网络（SENet）。它扩展了现有的架构，如 Inception 网络和 ResNet，并提升了它们的性能，以惊人的 2.25% 前 5 错误率赢得了比赛。扩展后的 Inception 网络和 ResNet 分别称为 SE - Inception 和 SE - ResNet。

2.2.1 SE 块的工作原理

SENet 通过在原始架构的每个单元（即每个 Inception 模块或每个残差单元）中添加一个名为 SE 块的小型神经网络来提升性能。SE 块专注于深度维度分析单元的输出，学习哪些特征通常一起最活跃，然后使用这些信息重新校准特征图。

例如，SE 块可能会学习到在图片中嘴巴、鼻子和眼睛通常一起出现。如果嘴巴和鼻子的特征图有强烈激活，而眼睛的特征图只有轻微激活，SE