权重衰减（weight decay）与L2正则化

最新推荐文章于 2025-05-29 01:31:23 发布
转载 最新推荐文章于 2025-05-29 01:31:23 发布 · 2.3k 阅读 · 8 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/program_developer/article/details/80867468

本文深入解析了权重衰减（L2正则化）的概念，包括其如何通过减小权重来防止模型过拟合，以及在随机梯度下降中权重更新的具体公式。同时，探讨了L2正则化为何能有效降低模型复杂度，避免过拟合现象。

1. 权重衰减（weight decay）

L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。

1.1 L2正则化与权重衰减系数

L2正则化就是在代价函数后面再加上一个正则化项：

其中C0代表原始的代价函数，后面那一项就是L2正则化项，它是这样来的：所有参数w的平方的和，除以训练集的样本大小n。λ就是正则项系数，权衡正则项与C0项的比重。另外还有一个系数1/2，1/2 1/211经常会看到，主要是为了后面求导的结果方便，后面那一项求导会产生一个2，与1/2相乘刚好凑整为1。系数λ就是权重衰减系数。

1.2 为什么可以对权重进行衰减

我们对加入L2正则化后的代价函数进行推导，先求导：

可以发现L2正则化项对b的更新没有影响，但是对于w的更新有影响：

在不使用L2正则化时，求导结果中w前系数为1，现在w前面系数为1-ηλ/n，因为η、λ、n都是正的，所以1-ηλ/n小于1，它的效果是减小w，这也就是权重衰减（weight decay）的由来。当然考虑到后面的导数项，w最终的值可能增大也可能减小。
另外，需要提一下，对于基于mini-batch的随机梯度下降，w和b更新的公式跟上面给出的有点不同：


对比上面w的更新公式，可以发现后面那一项变了，变成所有导数加和，乘以η再除以m，m是一个mini-batch中样本的个数。

1.3 权重衰减（L2正则化）的作用

作用：权重衰减（L2正则化）可以避免模型过拟合问题。
思考：L2正则化项有让w变小的效果，但是为什么w变小可以防止过拟合呢？
原理：（1）从模型的复杂度上解释：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合更好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果往往好于未经正则化的效果。（2）从数学方面的解释：过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。

 

 

参考文献：

  1. https://blog.youkuaiyun.com/program_developer/article/details/80867468
权重衰减——L2正则化
dujuancao11的博客
09-06 5817
《动手学深度学习pytorch》部分学习笔记，仅用作自己复习。 权重衰减 过拟合现象，即模型的训练误差远小于它在测试集上的误差。虽然增⼤训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价高昂。应对过拟合问题的常用⽅法：权重衰减（weight decay）。 方法 权重衰减等价于L2范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较⼩，是应对过拟合的常⽤手段。 L2 范数正则化在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小..
L1,L2正则化及权重衰减的理解
zxyOVO的博客
03-17 729
dropout和P下面是pytorch官方文档在训练期间，使用伯努利分布的样本，以概率p随机归零输入张量的一些元素。每个信道将在每次前向呼叫时独立归零。注意在pytorch中的p也就是p是让输入归0的概率，也就可以说是输入失效的比例，越高失效越多![在这里插入图片描述](对loss代价函数上添加上对w的惩罚项。
札记:ML——权重衰减（weight decay）（L2正则化）的作用
Fuguir™的博客
03-25 2942
权重衰减（weight decay）（L2正则化）的作用 引自:优快云博主「Microstrong0305」 1. 权重衰减（weight decay） L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。 1.1 L2正则化 L2正则化就是在代价函数后面再加上一个正则化项： L=L0+12×λ×1n∑ww2 \mathcal{L}=\mathcal{L}_{0}+\frac{1}{2}\times{\lambda}\times\frac{1}{n}
权值衰减和L2正则化是一回事吗？
skyfengye的博客
01-08 661
我们在神经网络的训练中经常会遇到权重衰减和正则化这两个概念。尤其是L2正则化，它跟权重衰减是不是一回事。我在这篇文章得到了解释Weight Decay == L2 Regularization? 正则化 正则化可以定义为我们为了减少泛化误差而不是减少训练误差而对训练算法所做的任何改变。有许多正规化策略。有的对模型添加额外的约束，如对参数值添加约束，有的对目标函数添加额外的项，可以认为是对参数值添加间接或软约束。如果我们仔细使用这些技术，这可以改善测试集的性能。在深度学习的环境中，大多数正则化技术都基于正
权重衰减与L2正则化
guanguanboy的专栏
01-12 2071
上⼀节中我们观察了过拟合现象，即模型的训练误差远小于它在测试集上的误差。虽然增⼤训练 数据集可能会减轻过拟合，但是获取额外的训练数据往往代价⾼昂。本节介绍应对过拟合问题的 常⽤⽅法：权重衰减（weight decay）。 权重衰减等价于L2 范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使得 学出的模型参数值较小，是应对过拟合的常⽤⼿段。我们先描述L2 范数正则化...
Transformer——Q137 分析权重衰减（Weight Decay）与L2正则化的等价性条件
墨顿随笔
05-29 751
权重衰减和 L2 正则化是深度学习中常用的正则化方法，它们在解决过拟合问题、提高模型泛化能力方面发挥着重要作用。通过数学推导，我们明确了在随机梯度下降算法下，当权重衰减系数和 L2 正则化系数满足时，两者的参数更新效果等价。在大语言模型等深度学习应用中，它们有着广泛的应用实例，同时也存在超参数调整困难、可能影响收敛速度等缺点。通过自适应调整正则化系数、结合其他正则化方法等优化策略，可以进一步提升模型的性能。
权重衰退，weight decay，L2正则化
一起躺躺躺的博客
05-06 406
通过函数与0的距离来衡量函数的复杂度。 但是怎么精确的确定一个函数和0之间的举例呢？没有一个正确答案。 一种简单的方法是通过线性函数中的权重向量的某个范数来度量其复杂性，例如。要保证权重向量比较小，最常用方法是将其范数作为惩罚项加到最小化损失的问题中。 将原来的训练目标*最小化训练标签上的预测损失*，调整为*最小化预测损失和惩罚项之和*。现在，如果我们的权重向量增长的太大，我们的学习算法可能会更集中于最小化权重范数。这正是我们想要的。 在线性回归中，我们的损失函数为下式 x（i）为样本i的特.
正则化（Regularization），权重衰减（Weight decay）
Yemiekai的博客
08-01 863
L2 正则化是怎么减轻过拟合的，权重衰减 (weight decay) 是什么意思。
L2正则与权重衰减
weixin_42923076的博客
06-16 791
是优化器中做的一种具体策略，其目的是让网络参数（权重）得到不同程度的衰减。具体来说，权重越大，希望衰减地越快。是数学上 对最优化式的一种约束手段，采用L2范数对变量进行约束，可以达到一些想要的效果。（下面会证明）在不引入动量的SGD系优化器中，权重衰减完全等价于L2正则。对于引入动量的SGD优化器中，权重衰减约等于L2正则，其差别实际可忽略不计。而对于Adam系优化器，权重衰减不能认为等价于L2正则。
权重衰减 vs L2正则
m0_37531129的博客
08-04 2575
避免过拟合的方法有很多：early stopping、数据集扩增（Data augmentation）、正则化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout。 这里重点讲解 L2正则 和weight decay 的区别： 在训练神经网络的时候，由于Adam有着收敛快的特点被广泛使用。但是在很多数据集上的最好效果还是用SGD with Momentum细调出来的。可见Adam的泛化性并不如SGD with Momentum。在这
pytorch l2正则化_权重衰减和L2正则化是一个意思吗？它们只是在某些条件下等价...
weixin_39617702的博客
11-28 363
神经网络是很好的函数逼近器和特征提取器，但有时它们的权值过于专门化而导致过度拟合。这就是正则化概念出现的地方，我们将讨论这一概念，以及被错误地认为相同的两种主要权重正则化技术之间的细微差异。1943年，沃伦·麦卡洛克(Warren McCulloch)和沃尔特·皮茨(Walter Pitts)首次提出了神经网络，但它并不受欢迎，因为它们需要大量的数据和计算能力，而这在当时是不可行的。但随着上述约束...
权值衰减和L2正则化傻傻分不清楚？
AI公园
01-07 719
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Divyanshu Mishra编译：ronghuaiyang导读权值衰减和L2正则化，到底是不是同一个东西，这篇文章给你...
权重衰减（weight decay）/正则化与学习率衰减（learning rate decay）
buziran的专栏
10-24 1904
推荐：深度学习总结(九)——正则化 1. 权重衰减（weight decay） L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。 正则项惩罚系数，会惩罚节点的权重矩阵，如果我们的正则项系数很高以至于一些权重矩阵几乎等于零。 1.1 L2正则化与权重衰减系数 L2正则化就是在代价函数后面再加上一个正则化项： 其中C0代表原始...
L2正则化与权重衰减weight decay
FantasyJXF的博客
12-18 931
权重衰减原理解释
weight_decay 与L2 Loss
Loong Cheng的博客
04-25 2631
复制粘贴的https://www.cnblogs.com/xz824/p/10066685.html 权重衰减等价于L2范数正则化。正则化通过为模型损失函数添加惩罚项使得学习的模型参数值较小，是常用防止过拟合的常用手段 L2范数正则化是在模型原损失函数基础上添加L2范数惩罚项，其中L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。比如，对于线性回归损失函数： weight...
L2正则和权值衰减的区别 L2 Regulation vs Weight Decay
xiaojiajia007的博客
01-19 1212
对于L2 Regulation 和 Weight Decay，假设原来的损失函数是fff, 对于有Weight Decay的参数更新规则如下： θt+1=θt−α∇ft(θt)−λθt, \theta_{t+1}=\theta_{t}-\alpha \nabla f_{t}\left(\theta_{t}\right)-\lambda \theta_{t}, θt+1​=θt​−α∇ft​(θt​...
L2Decay
weixin_45873017的博客
12-10 1168
2021SC@SDUSC paddle.regularizer. L2Decay ( coeff=0.0 ) 参数: coeff (float) – 正则化系数，默认值为0.0。 L2Decay实现L2权重衰减正则化，用于模型训练，有助于防止模型对训练数据过拟合。 该类生成的实例对象，需要设置在 cn_api_paddle_ParamAttr 或者 optimizer (例如 Momentum )中，在 ParamAttr 中设置时， 只对该网络层中的参数生效；在 optimizer 中设置时，会对所有
改善过拟合——权重衰减
qq_26435349的博客
09-29 600
解决过拟合问题的方法之一是权重衰减 方法 权重衰减等价于L2范数正则化（regularization）。 正则化通过为模型损失函数添加惩罚项使训练出的模型参数值较小，是应对过拟合的常用手段。 以线性回归为例，介绍什么是L2范数正则化 L2范数正则化 L2范数正则化在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数...
权重衰减随笔
酒柜担保人的博客
04-05 291
       权重衰减又叫L2L_2L2​正则化，其目的是为了让权重衰减到更小的值，在一定程度上能够减少过拟合的问题。        L2L_2L2​正则化就是在代价函数后面再加上一个正则化项：      &...
Weight Decay 与 L2 正则化的数学关系是什么？
最新发布
09-23
**Weight Decay 与 L2 正则化在数学上是等价的**，尤其是在使用随机梯度下降（SGD）优化器的情况下。下面我们从数学角度详细解释它们的关系。 --- ### 1. L2 正则化的定义 L2 正则化是通过在原始损失函数 $ \mathcal{L} $ 上添加一个权重的平方和惩罚项来实现的： $$ \mathcal{L}_{\text{total}} = \mathcal{L}(\theta) + \frac{\lambda}{2} \sum_{i} \theta_i^2 $$ 其中： - $ \mathcal{L}(\theta) $：原始损失函数（如交叉熵、均方误差等） - $ \theta_i $：模型参数（权重） - $ \lambda $：正则化系数，控制惩罚强度 对这个总损失求导得： $$ \nabla_\theta \mathcal{L}_{\text{total}} = \nabla_\theta \mathcal{L} + \lambda \theta $$ 所以在参数更新时（以 SGD 为例）： $$ \theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L} - \eta \lambda \theta = (1 - \eta \lambda)\theta - \eta \nabla_\theta \mathcal{L} $$ > 这里的关键是：**每次更新都会让权重乘以一个小于 1 的因子 $(1 - \eta \lambda)$，即“衰减”了权重本身**。 --- ### 2. Weight Decay 的定义 Weight Decay 是一种直接在参数更新阶段施加的操作，其更新规则为： $$ \theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L} - \eta \lambda \theta $$ 这正是上面 L2 正则化推导出的结果！ 也就是说，在标准 SGD 中： > **L2 正则化 ≡ Weight Decay** --- ### 3. 在 Adam 等自适应优化器中的区别 但在 **Adam、AdamW** 等更复杂的优化器中，这种等价性不再严格成立。 #### 原因： 在 Adam 中，梯度被标准化（动量 + 自适应学习率），所以如果你把 L2 惩罚加到损失中： ```python loss = criterion(output, target) + (lambd / 2) * sum((p ** 2).sum() for p in model.parameters()) ``` 那么这个惩罚项也会进入梯度估计，并受到自适应缩放的影响 —— 这可能导致 weight decay 效果不稳定或偏离预期。 而 `weight_decay` 参数是在优化步骤中**单独处理的**，不参与梯度计算。 --- ### 4. PyTorch 中的区别示例 #### 使用传统 L2 正则化（不推荐用于 Adam）： ```python optimizer = torch.optim.Adam(model.parameters(), lr=0.001) loss = criterion(output, target) l2_lambda = 1e-4 l2_reg = sum((p ** 2).sum() for p in model.parameters()) loss += l2_lambda * l2_reg loss.backward() optimizer.step() ``` #### 使用内置 weight_decay（推荐）： ```python optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-4) # 自动应用 weight decay，且行为更干净 loss = criterion(output, target) loss.backward() optimizer.step() ``` ⚠️ 注意：对于 Adam，这样设置 `weight_decay` 并不完全等同于 L2 正则化 —— 它只是模仿了 SGD 中 weight decay 的形式。 --- ### 5. 更优选择：AdamW 为了解决这个问题，**AdamW** 被提出，它明确将 weight decay 与梯度更新分离，真正实现了“权重衰减”的语义。 ```python optimizer = torch.optim.AdamW(model.parameters(), lr=0.001, weight_decay=1e-4) ``` ✅ 在 AdamW 中，weight decay 才真正对应理论上的 L2 正则化效果。 --- ### 总结 | 方法 | 数学形式 | 是否等价于 L2 正则化 | 适用场景 | |------|---------|------------------------|----------| | L2 正则化（加在 loss 上） | $\mathcal{L} + \frac{\lambda}{2}\|\theta\|^2$ | ✅ 仅在 SGD 下成立 | 不推荐用于 Adam | | Weight Decay（优化器参数） | $\theta \gets \theta - \eta g - \eta\lambda\theta$ | ❌ 在 Adam 中不完全等价 | 推荐搭配 AdamW 使用 | | AdamW + weight_decay | 显式解耦 weight decay | ✅ 理论一致 | 推荐现代训练首选 | ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值