「Deep Learning」Note on Weight Standardization

本文探讨了权重标准化(Weight Standardization)技术在深度学习中的应用,通过实验对比了不同规范化方法在ImageNet、COCO、PASCAL VOC、Something-Something和ModelNet40上的性能。结果显示,权重标准化结合层归一化(GN+WS)能够显著提升模型的准确性,尤其是在小批量训练时,超越了传统的批归一化(BN)。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

QQ Group: 428014259
Tencent E-mail:403568338@qq.com
http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/88855360

作者:Siyuan Qiao, Huiyu Wang, Chenxi Liu, Wei Shen, Alan Yuille
单位:Johns Hopkins University

WS建立在常量学习率之上,对于循环学习率不建议使用[4]。

0

2 Weight Standardization

3 实验结果

ImageNet上做图像分类
COCOS上做物体检测和实例分割
PASCAL VOC上做语义分割
Something-SomethingV1上做视频分类
ModelNet40上做点云分类

3.1 ImagNet

Table 2给出了不同规范化方法的Top-1错误率。GN+WS、BN+WS可以击败BN
Table 1给出的结论:1、SN-batchsize=1是里面最差的;2、GN-batchsize=1还是不如BN;3、BN+WS,可以超越BN;4、GN+WS-batchsize=1,可以超越BN和BN+WS,也就是WS要携手GN,超越BN[2]。
Table 3给出的结论:GN+WS,可以超越GN。

3.2 COCO

Table 5和4,结论就是GN需要WS的帮助。

3.3

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值