Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

Abstract

• 非常深的卷积网络是近年来图像识别性能最大进步的核心。一个例子是Inception架构，它已被证明可以以相对较低的计算成本实现非常好的性能。最近，在更加传统的架构中引入残差连接已经在2015年ILSVRC挑战中产生了最先进的性能。它的性能类似于最新一代的Inception-v3网络。这就提出了一个问题，即将Inception架构与剩余连接相结合是否存在任何好处。
• 在这里，我们给出了明确的经验证据，即残余连接训练可以显着加速初始网络的训练。还有一些证据表明，残差的Inception网络优于同样昂贵的没有残差的Inception网络。我们还为残差和非残差Inception网络提供了几种新的简化架构。这些变化显着改善了ILSVRC 2012分类任务的单帧识别性能。我们进一步演示了适当的激活扩展如何稳定非常宽的残余初始网络的训练。通过三个残差和一个Inception-v4的集合，我们在ImageNet分类（CLS）挑战的测试集上实现了3.08％的前5个误差。

Introduction

• 在这项工作中，我们研究了两个最近的想法的组合：He等人引入的残差连接和最新修订版的Inception体系结构。有人认为，残差连接对于培养非常深的架构至关重要。由于Inception网络往往非常深，因此将剩余连接替换为Inception架构的过滤器级联阶段是很自然的。这将允许Inception在保留其计算效率的同时获得剩余方法的所有好处。
• 除了直接整合之外，我们还研究了是否可以通过使其更深入和更广泛地使Inception本身更有效。为此，我们设计了一个名为Inception-v4的新版本，它具有比Inception-v3更加统一的简化架构和更多的初始模块。从历史上看，Inception-v3继承了早期化身的许多包袱。技术限制可能来自于使用DistBelief对分布式训练模型进行分区的需要。
• 在本报告中，我们将比较两个纯粹的Inception变体，Inception-v3和v4，以