L2Decay

最新推荐文章于 2024-11-27 10:53:37 发布

Dear_Oria

最新推荐文章于 2024-11-27 10:53:37 发布

阅读量1.1k

点赞数 1

文章标签： paddlepaddle python 深度学习

本文链接：https://blog.youkuaiyun.com/weixin_45873017/article/details/121853178

版权

本文介绍了PaddlePaddle库中的L2Decay类，用于实现L2权重衰减正则化，以防止模型过拟合。通过设置在optimizer或ParamAttr中，可以对模型参数应用正则化。示例代码展示了如何在Momentum优化器中设置L2Decay，并在特定网络层中应用正则化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2021SC@SDUSC

paddle.regularizer. L2Decay ( coeff=0.0 )

参数:

coeff (float) – 正则化系数，默认值为0.0。

L2Decay实现L2权重衰减正则化，用于模型训练，有助于防止模型对训练数据过拟合。

该类生成的实例对象，需要设置在 cn_api_paddle_ParamAttr 或者 optimizer (例如 Momentum )中，在 ParamAttr 中设置时，只对该网络层中的参数生效；在 optimizer 中设置时，会对所有的参数生效；如果同时设置，在 ParamAttr 中设置的优先级会高于在 optimizer 中设置，即，对于一个可训练的参数，如果在 ParamAttr 中定义了正则化，那么会忽略 optimizer 中的正则化；否则会使用"optimizer"中的正则化。

具体实现中，L2权重衰减正则化的损失函数计算如下：
loss=0.5∗coeff∗reduce_sum(square(x))

Example1:

# Example1: set Regularizer in optimizer

```python
import paddle
from paddle.regularizer import L2Decay
import numpy as np
linear = paddle.nn.Linear(10, 10)
inp = paddle.rand(shape=[10, 10], dtype="float32")
out = linear(inp)
loss = paddle.mean(out)
beta1 = paddle.to_tensor([0.9], dtype="float32")
beta2 = paddle.to_tensor([0.99], dtype="float32")
momentum = paddle.optimizer.Momentum(
    learning_rate=0.1,
    parameters=linear.parameters(),
    weight_decay=L2Decay(0.0001))
back = out.backward()
momentum.step()
momentum.clear_grad()

Example2:

```python
# Example2: set Regularizer in parameters
# Set L2 regularization in parameters.
# Global regularizer does not take effect on my_conv2d for this case.
from paddle.nn import Conv2D
from paddle import ParamAttr
from paddle.regularizer import L2Decay

my_conv2d = Conv2D(
        in_channels=10,
        out_channels=10,
        kernel_size=1,
        stride=1,
        padding=0,
        weight_attr=ParamAttr(regularizer=L2Decay(coeff=0.01)),
        bias_attr=False)