通过torch.nn.init更改模型初始化参数

最新推荐文章于 2024-12-25 20:44:36 发布

原创

最新推荐文章于 2024-12-25 20:44:36 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #神经网络

本文介绍了如何在PyTorch中使用He Kaiming均匀分布和正态分布对神经网络模型的参数进行初始化，包括卷积层和全连接层。作者展示了如何在模型外部和内部直接修改预训练层的权重，以及不同初始化方法的应用。

比如模型如下：

class Net(nn.Module):
    # 初始化定义网络的结构：也就是定义网络的层
    def __init__(self):
        super(Net,self).__init__()
        self.layer1 = nn.Sequential(            
            nn.Conv2d(3,6,kernel_size=5,stride=1,padding=0),
            # 激活函数
            nn.ReLU(),
            # kernel_size：pooling size，stride：down-sample
            nn.MaxPool2d(kernel_size=2,stride=2))
        self.layer2 = nn.Sequential(            
            nn.Conv2d(6,16,kernel_size=5,stride=1,padding=0),
            # 激活函数
            nn.ReLU(),
            # kernel_size：pooling size，stride：down-sample
            nn.MaxPool2d