pytorch-网络层初始化记录

原创于 2020-10-10 18:26:45 发布 · 335 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

初始化同时被 2 个专栏收录

1 篇文章

订阅专栏

正则化

1 篇文章

订阅专栏

本文介绍了PyTorch中权重初始化的方法及L2正则化的实现细节，包括如何仅对权重参数应用正则化，而不对偏置参数应用。通过示例代码展示了初始化函数的应用和优化器的配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为节省时间，特此记录有关pytorch-权重初始化和L2_weight设置的东西。

初始化：

pytorch 官网有关自然语言处理-权重初始化

def init_weights(m: nn.Module):
    for name, param in m.named_parameters():
        if 'weight' in name:
            nn.init.normal_(param.data, mean=0, std=0.01)
        else:
            nn.init.constant_(param.data, 0)


model.apply(init_weights)

l2-weight正则化项：有的只对权重进行正则化，不对偏执进行正则化。当时查了很久，觉得靠谱的版本特此记录：

参考：

https://discuss.pytorch.org/t/l2-regularization-with-only-weight-parameters/56853/2

https://blog.youkuaiyun.com/loseinvain/article/details/81708474#commentsedit

    weight_p, bias_p = [], []
    for name, p in model.named_parameters():
        if 'bias' in name:
            bias_p += [p]
        else:
            weight_p += [p]

    optimizer = optim.Adam(
        [{'params': bias_p, 'weight_decay': 0},
         {'params': weight_p, 'weight_decay': 1e-2}],
        lr=TRAIN_LR,
        betas=(0.5, 0.999)
    )