pytorch学习笔记十：权值初始化的十种方法

最新推荐文章于 2024-10-06 16:11:22 发布

原创

最新推荐文章于 2024-10-06 16:11:22 发布 · 2k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #学习 #深度学习

本文介绍了PyTorch中进行权重初始化的重要性及流程，并详细讲解了包括Xavier、Kaiming在内的十种初始化方法，涵盖均匀分布、正态分布、常数等多种方式，帮助理解并应用到深度学习模型中。

在上一节中了解了为什么要进行权值初始化以及如何选择权值初始化方法，在这一节来了解一下pytroch中十种权值初始化方法

一、权值初始化流程

1、先设定什么层用什么初始化方法，初始化方法在 torch.nn.init 中给出；
2、实例化一个模型之后，执行该函数，即可完成初始化。

示例：

def initialize_weights(self):
    for m in self.modules:
        # 对卷积层进行初始化
        if isinstance(m, nn.Conv2d):
            torch.nn.init.xavier_normal_(m.weight.data)
            if m.bias is not None:
                m.bias.data.zero_()
                
        # 对BN层进行初始化
        elif isinstance