训练tricks
关注
分享
扫一扫
文章平均质量分 92
00000cj
计算机视觉，论文阅读记录
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
ResNet strikes back（NeurIPS 2021，Meta）论文解读
本文重新评估了在整合这些最新进展的训练程序下，标准ResNet-50的性能。研究发现，许多文献中报告的ResNet-50在ImageNet上的表现（75.2%-79.5%）仍远未达到该架构的最大潜力。本文旨在通过优化训练程序，提高ResNet-50的性能，从而提供更强大的基准供未来工作使用。原创 2024-07-25 12:25:52 · 1638 阅读 · 0 评论 -
Revisiting ResNets（NeurIPS 2021, Google）
这篇文章探讨了计算机视觉中的模型架构、训练方法和扩展策略（scaling strategy），并重新审视了ResNet的这些方面，作者发现，训练方法和模型缩放策略可能比架构变化更重要。原创 2024-06-27 12:15:04 · 1182 阅读 · 0 评论 -
Stochastic Depth 原理与代码解析
本文提出了一种新的训练深度网络的方法，随机深度stochastic depth，在训练阶段随机删除某些层使得网络的总层数变少，既缓解了梯度消失和特征重用减少的问题，又缩短了训练时间。此外和Dropout类似，stochastic depth还起到了正则化的作用，即使在有BN的情况下。用随机深度训练的网络还可以看作不同深度网络的隐式集和ensemble。原创 2024-02-19 19:50:54 · 1687 阅读 · 0 评论 -
DropBlock（NeurIPS 2018）论文与代码解析
本文提出了DropBlock，一种结构化形式的dropout，特征图中一个连续相邻区域中的所有特征被一起丢弃，作者通过实验发现，除了在卷积层中，在skip connection中应用DropBlock也可以提高精度。此外在训练过程中，逐渐增加丢弃特征的数量可以进一步提高精度并且对超参的选择更加鲁棒。原创 2024-01-23 21:40:59 · 1840 阅读 · 0 评论