FractalNet

Paper : FractalNet: Ultra-Deep Neural Networks without Residuals
Code : unofficial

摘要

在各种各样ResNet魔改版横行的时候，作者提出了分形网络，并根据分型网络的网络结构模仿dropout提出了drop-path的训练方法，证明了不只有残差和shortcut一条路。分型网络在网络深度较深时也可以取得较好的表现，开阔了网络结构设计的视野。

网络结构

分型网络的模块结构大致如下

根据以上分型网络模块的结构，我们可以设计出类似dropout的droppath方法

作者认为，分型网络相比ResNet有以下几点优势

1. 分形网络具有多条shortcut，而且是通过不同长度的子路径组合，网络选择合适的子路径集合提升模型表现
2. drop-path是根据分型网络特点设计出来的一种正则方法，可以防止过拟合，提升模型表现
3. 通过实验说明了带drop-path训练后的总网络提取的单独列（网络）也能取得优秀的表现。
4. 分形网络体现的一种特性为：浅层子网提供更迅速的回答，深层子网提供更准确的回答。

核心观点

1. 论文的实验说明了路径长度才是训练深度网络的需要的基本组件，而不单单是残差块。
2. 分形网络和残差网络都有很大的网络深度，但是在训练的时候都具有更短的有效的梯度传播路径。
3. Fractal Net 和 Dense Net都受到了Stochastic Depth的影响，三者的理论基础都是浅层子网提供更迅速的回答，深层子网提供更准确的回答。