本文来源公众号“GiantPandaCV”,仅用于学术分享,侵权删,干货满满。
上一篇文章GiantPandaCV | 提升分类模型acc(一):BatchSize&LARS-优快云博客探讨了训练的bs大小和LARS对精度的影响,本篇文章是本系列的第二篇文章,主要是介绍张航的Bag of Tricks for Image Classification 中的一些方法以及自己实际使用的一些trick。
论文链接:https://arxiv.org/abs/1812.01187
R50-vd代码: https://github.com/FlyEgle/ResNet50vd-pytorch
知乎专栏: https://zhuanlan.zhihu.com/p/409920002
1 前言
如何提升业务分类模型的性能,一直是个难题,毕竟没有99.999%的性能都会带来一定程度的风险,所以很多时候只能通过控制阈值来调整准召以达到想要的效果。本系列主要探究哪些模型trick和数据的方法可以大幅度让你的分类性能更上一层楼,不过要注意一点的是,tirck不一定是适用于不同的数据场景的,但是数据处理方法是普适的。
ps: 文章比较长,不喜欢长文可以直接跳到结尾看结论。
简单的回顾一下第一篇文章的结论: 使用大的batchsize训练会略微降低acc,可以使用LARS进行一定程度的提升,但是需要进行适当的微调,对于业务来说,使用1k的batchsize比较合适。
2 实验配置
-
模型: ResNet50, CMT-tiny
-
数据: ImageNet1k & 业务数据
-
环境: 8xV100
ps: 简单的说明一下,由于部分实验是从实际的业务数据得到的结论,所以可能并不是完全适用于别的数据集,domain不同对应的方法也不尽相同。
本文只是建议和参考,不能盲目的跟从。imagenet数据集的场景大部