本文深入探讨了ResNet的原理，包括其独特的两条路径设计，mainpath与shortcut连接，解释了为何中间网络层至少能保持恒等效果，甚至提升性能。通过对比ResNet-18与ResNet-50，详细分析了它们在模块结构上的异同，特别是降维策略与通道数的变化。同时，提供了Bottle-Neck的代码实现细节。
1.原理
重点：
两条路径
- main path
- short cut/skip connection
总之，中间的网络层至少不会使得情况更坏，顶多没学，就是恒等。
幸运的话，performance更好。
2. 应用
1. ResNet-18
2. ResNet-50
相同：
- 一个模块内，只有内外（main path, short cut）各一个stride=2的存在，即一个33/2 一个 11/2都是为了图片大小降维。
不同
- 18中的2个33的卷积核变成了11 + 33 + 11
- 最后输出的前一层通道数要4倍化
3. 附录代码
1.Bottle-Neck
深入浅出pytorch 从模型到源码
扫一扫
916
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
