「Deep Learning」Note on Weight Standardization

最新推荐文章于 2025-06-24 13:14:25 发布
最新推荐文章于 2025-06-24 13:14:25 发布
阅读量1.2k 收藏 2
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dgyuanshaofeng/article/details/88855360
本文探讨了权重标准化(Weight Standardization)技术在深度学习中的应用，通过实验对比了不同规范化方法在ImageNet、COCO、PASCAL VOC、Something-Something和ModelNet40上的性能。结果显示，权重标准化结合层归一化(GN+WS)能够显著提升模型的准确性，尤其是在小批量训练时，超越了传统的批归一化(BN)。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

QQ Group: 428014259
Tencent E-mail：403568338@qq.com
http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/88855360

作者：Siyuan Qiao, Huiyu Wang, Chenxi Liu, Wei Shen, Alan Yuille
单位：Johns Hopkins University

WS建立在常量学习率之上，对于循环学习率不建议使用[4]。

0

2 Weight Standardization

3 实验结果

ImageNet上做图像分类
COCOS上做物体检测和实例分割
PASCAL VOC上做语义分割
Something-SomethingV1上做视频分类
ModelNet40上做点云分类

3.1 ImagNet

Table 2给出了不同规范化方法的Top-1错误率。GN+WS、BN+WS可以击败BN。
Table 1给出的结论：1、SN-batchsize=1是里面最差的；2、GN-batchsize=1还是不如BN；3、BN+WS，可以超越BN；4、GN+WS-batchsize=1，可以超越BN和BN+WS，也就是WS要携手GN，超越BN[2]。
Table 3给出的结论：GN+WS，可以超越GN。

3.2 COCO

Table 5和4，结论就是GN需要WS的帮助。

3.3

最低0.47元/天 解锁文章

200万优质内容无限畅学
DTEO1345
关注
说书人话人工智能
sh19940925的博客
01-22 410
计算机硕士毕业做人工智能深度学习，大概多少薪资？  看水平了，靠谱的20K起吧。40不高，跟你说实话，我现在上着学，在一个公司做人工智能，没考勤，拿不到20K。当然我是在圈里有一定名，老板找到我。  但是18、19开始人多了，肯定便宜了。  我想学的话，该怎么入门呢？  学python，学理论，开发先用keras吧。多面几个。  业余学到靠谱的程度，大概得多久？  这个真的不好说 
机器学习——深度学习(Deep Learning)
热门推荐
Rachel Zhang的专栏
08-04 45万+
Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，最近研究了机器学习中一些深度学习的相关知识，本文给出一些很有用的资料和心得。Key Words：有监督学习与无监督学习，分类、回归，密度估计、聚类，深度学习，Sparse DBN，1. 有监督学习和无监督学习给定一组数据(input，target)为Z=(X，Y)。有监督学习：最常见的是r
【深度学习】-学习篇（一）
最新发布
2503_91665385的博客
06-24 948
深度学习（Deep Learning）是机器学习的一个分支，它基于人工神经网络（Artificial Neural Networks, ANN），尤其是深度神经网络（Deep Neural Networks, DNN），通过多层次的非线性变换从数据中学习复杂的模式和特征表示。尽管面临数据、算力、可解释性等挑战，但其发展仍在加速，未来可能进一步推动通用人工智能（AGI）的实现。：生成器（Generator）和判别器（Discriminator）对抗训练。：具有记忆能力，适用于序列数据（如文本、语音）。
《深度学习优化新尝试：WeightStandardization》
gitblog_00062的博客
04-16 458
《深度学习优化新尝试：WeightStandardization》 去发现同类优质开源项目:https://gitcode.com/ 在深度学习领域，模型的优化是提升性能的关键步骤之一。近期，一款名为的开源项目引起了我们的关注。该项目由开发者Joe Siyuan Qiao提出，是一种新颖的权重预处理方法，旨在改进卷积神经网络（CNNs）的训练过程和性能。 项目简介 WeightStandardiz...
Deep Learning
weixin_46604911的博客
12-27 905
①图灵测试：把一个人和一台计算机分别放在两个隔离的房间中，房间外的一个人同时询问人和计算机相同的问题，如果房间外的人无法分别哪个是人，哪个是计算机，就能够说明计算机具有人工智能。 ②医学：医学发现，人的视觉系统处理信息是分级的。从视网膜出发，经过低级的V1区提取边缘特征，到V2区的基本形状或目标的局部，再到高层的整个目标（例如判定为一张人脸），以及到更高层的PFC（前额叶皮层）进...
Optimization of Machine Learning Using MATLAB Genetic Algorithms: Strategies of Integration and ...
# Genetic Algorithms in Machine Learning Optimization: Strategies for Integration and Enhancement In the realm of machine learning and artificial intelligence, optimization algorithms are key to ...
【DeepCV】超参数 Hyperparameters
北境の守望者
05-23 453
Backto DeepCV Notes from Neural Network Hyperparameters. What is Hyperparameters? Most machine learning algorithms involve “hyperparameters” which are variables set before actually optimizing the mo...
一步一步学习医学人工智能(steps towards medical AI)
cardiogene的博客
03-18 334
所有章节, 所有内容, 先有一个框架, 然后想到哪再逐步详细补充修改细节内容。
GAN的应用-SRGAN图像超分辨率重构、U-net结构和字“姐”跳动学习心得
P17824839096的博客
12-06 4336
GAN的应用 -- SRGAN图像超分辨率重构 项目地址：https://aistudio.baidu.com/aistudio/projectdetail/843989 文章来源：2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 下载链接：Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Ne.
Deep Learning(UFLDL)
01-18
Deep Learning(UFLDL)翻译版合集.
Deep Learning with Python
12-27
Deep Learning with Python introduces the field of deep learning using the Python language and the powerful Keras library. Written by Keras creator and Google AI researcher François Chollet, this book builds your understanding through intuitive explanations and practical examples. You'll explore challenging concepts and practice with applications in computer vision, natural-language processing, and generative models. By the time you finish, you'll have the knowledge and hands-on skills to apply deep learning in your own projects.
Deep learning
小李的研究生学习日记
11-07 1790
论文：doi:10.1038/nature14539 论文意义和主要内容 三巨头从机器学习谈起，指出传统机器学习的不足，总览深度学习理论、模型，给出了深度学习的发展历史，以及DL中最重要的算法和理论。 概念： 原理：DL的整个过程参数相当多，调整内部参数的方法就是backpropagation算法。 应用：CNN主要在图像，视频，语言和音频处理方面带来突破，RNN对文本和语音等时序数据带来突破。 论文结构 1引言 Deep-learning methods are representation-
深度学习deep learning
qq_54146731的博客
10-10 439
深度学习是包含多个隐层的机器学习模型，核心是基于训练的方式，从海量数据中挖掘有用信息，实现分类与预测。编码器、循环神经网络、深度置信网络、卷积神经网络衍生模型：堆叠降噪自编码器、稀疏自编码器、降噪自编码器卷积神经网络（CNN），深度信念网络（DBN），深度自动编码器（DAE），限制玻尔兹曼机（RBM）。CNN有全监督学习和权值共享的特点，在自然语言处理和语音图像识别领域有很强优势。其他深度学习模型大多先采用无监督方式逐层预训练，再使用有监督方式调整参数。采取分层的结构来处理问题的思想。
深度学习（Deep Learning）
m0_62870606的博客
08-18 2438
2. 时间相关性的非结构化数据，RNN 算法。五、高级 - 模型优化的原理 不同的模型需要采用的优化函数以及反向传播中参数的优化方法 1. 模型优化的算法介绍，基于随机梯度下降的算法介绍。二、数据理解及处理 分析典型场景中的典型数据，结合具体的算法，对数据进行处理 1. 结构化数据，如何对数据进行读取，进行组织。四、模型验证及问题排查 简单的算法或者模型对典型的场景进行快速验证，并且针对一些频发的问题进行讲解。2. 图像数据，在实际应用过程中的处理方法，怎样做数据的预处理、进行数据增强等。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值