QQ Group: 428014259
Tencent E-mail:403568338@qq.com
http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/88855360
作者:Siyuan Qiao, Huiyu Wang, Chenxi Liu, Wei Shen, Alan Yuille
单位:Johns Hopkins University
WS建立在常量学习率之上,对于循环学习率不建议使用[4]。
0
2 Weight Standardization
3 实验结果
ImageNet上做图像分类
COCOS上做物体检测和实例分割
PASCAL VOC上做语义分割
Something-SomethingV1上做视频分类
ModelNet40上做点云分类
3.1 ImagNet
Table 2给出了不同规范化方法的Top-1错误率。GN+WS、BN+WS可以击败BN。
Table 1给出的结论:1、SN-batchsize=1是里面最差的;2、GN-batchsize=1还是不如BN;3、BN+WS,可以超越BN;4、GN+WS-batchsize=1,可以超越BN和BN+WS,也就是WS要携手GN,超越BN[2]。
Table 3给出的结论:GN+WS,可以超越GN。
3.2 COCO
Table 5和4,结论就是GN需要WS的帮助。