scaling之旅_专栏 | Detectron精读系列之一：学习率的调节和踩坑

原标题：专栏 | Detectron精读系列之一：学习率的调节和踩坑

机器之心专栏

作者：huichan chen

大家期盼已久的 Detectron 终于开源啦，state-of-the-art 的模型就在一个命令行之间。但是面对庞大的 caffe2 和 detectron 函数库，多少会感觉有些迷茫。Detectron 精读系列会从细小的调参开始，到一些重要的函数分析，最后掌握 Detectron 函数库的全貌。在这个过程中，我们也会帮大家提前踩坑，希望大家可以从 Detectron 函数库学到更多通用的计算机视觉技能。

Detectron 函数库有一点复杂，在这次的解读中我们主要介绍 multi-gpu 训练的时候，学习率如何调节的问题。看似简单的问题，最近 Facebook，Google 和 Berkeley 多个组都发表了论文对这一问题进行了理论和实验的讨论，首先我们对这些论文的结果做一个简要的总结。三篇论文研究类似，但是每一篇相对于前一篇都有改进。

Facebook : Training Imagenet in 1 hour

贡献：

提出了 Linear Scaling Rule，当 Batch size 变为 K 倍时，Learning rate 需要乘以 K 就能够达到同样的训练结果。看似简单的定律，Facebook 的论文给出了不完整的理论解释和坚实的实验证明。除此之外，论文还讨论了如何处理 Batch Normalization 如何实现分布式 SGD。通过 Linear Scaling Rule，Facebook 成功的在一小时内训练了 Batch size 为 8192 的 Resnet 50。

缺陷：

当 Ba