44、卷积神经网络：从基础到应用

卷积神经网络：从基础到应用

1. 可分离卷积层

可分离卷积层在实践中表现出色。与常规卷积层分开考虑输入不同，可分离卷积层通常性能更优。它具有以下优点：
- 参数更少 ：减少了模型的复杂度。
- 内存占用低 ：适合资源有限的环境。
- 计算量小 ：提高了计算效率。

一般情况下，除了通道数较少的层之后，都可以优先考虑使用可分离卷积层。

2. ILSVRC挑战中的模型

• 2016年冠军模型 ：香港中文大学的CUImage团队赢得了ILSVRC 2016挑战。他们采用了多种技术的集成，包括名为GBD - Net的复杂目标检测系统，实现了低于3%的前5错误率。不过，该解决方案的复杂性与ResNets的简单性形成了鲜明对比。
• 2017年冠军模型 - SENet ：ILSVRC 2017挑战的获胜架构是挤压 - 激励网络（SENet）。它扩展了现有的架构，如Inception网络和ResNets，并提升了它们的性能，以惊人的2.25%前5错误率赢得比赛。扩展后的版本分别称为SE - Inception和SE - ResNet。

SENet通过在原始架构的每个单元（如Inception模块或残差单元）中添加一个名为SE块的小神经网络来提升性能。SE块的工作流程如下：
1. 分析单元输出 ：专注于深度维度，学习哪些特征通常一起最活跃。