【Learning Notes】作为 Ensemble 模型的 Residual Network

本文链接：https://blog.youkuaiyun.com/JackyTintin/article/details/53242476

本文介绍了Residual Networks如何通过skip connections行为像指数级浅层网络的ensemble，挑战了深度网络的常规理解。研究发现，ResNet在层的移除或重组后仍能保持性能，这支持了ResNet实际上训练了多个较浅的网络的观点。此外，文中还探讨了ResNet中短路径的重要性以及其在梯度反传问题上的表现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Andreas Veit et al. Residual Networks Behave Like Ensembles of Relatively Shallow Networks. NIPS’16.

Residual Network (ResNet) 在图像、语音任务上都取得了巨大的成功，是继 ReLU, Dropout, Batch Normalization 后，深度学习上又一个 milestone。一般认为，ResNet 通过引入 skip connect，解决了网络层数变深后的梯度反传的问题，从而使得训练非常深的网络成为可能。而深层网络比浅层网络有更好的性能则是一个 well-known 的结论。

Veit 等的文章却提出了对 ResNet 的一种非常不同的解释。作者认为：
1. ResNet的优良性能，并不来自于层数深，而是由于ResNet是指数多（相对于层数）的浅层（相对物理层数）网络的ensemble模型。
2. ResNet 也并没有解决深层网络情况下的梯度反传问题，而是回避的这一问题——ResNet 只是训练了一系列浅层模型，而 ensemble 中的深层模型并没并良好的训练，只不过是这部分模型数量少，并没有影响 ResNet 的整体性能。

为支持以上观点，文章中进行了一系列 lesion study（破坏网络结构）。