PyTorch中的模型参数初始化方法

最新推荐文章于 2024-06-09 10:36:42 发布
最新推荐文章于 2024-06-09 10:36:42 发布
阅读量363 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： pytorch 人工智能 深度学习 机器学习-深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bug_code702/article/details/133086960
本文探讨了PyTorch中参数初始化的重要性，包括随机初始化（如uniform、normal、xavier_uniform）、零初始化、自定义初始化和预训练模型初始化。正确的初始化能促进模型的学习和收敛。

在PyTorch中，模型参数的初始化是一个重要的步骤，它可以对模型的训练过程和性能产生深远的影响。在神经网络模型中，参数初始化的目的是为了破坏对称性、避免梯度消失或爆炸等问题，从而帮助模型更好地学习和收敛。在本文中，我们将介绍PyTorch中常用的模型参数初始化方法，并提供相应的源代码示例。

  1. 随机初始化

随机初始化是最常用的参数初始化方法之一。PyTorch的nn.init模块提供了多种随机初始化方法，如uniform、normal、xavier_uniform等。下面是一个使用uniform方法随机初始化模型参数的示例代码：

import torch
import torch.nn as nn

class Net(nn.Module):
了解本专栏 订阅专栏 解锁全文
PyTorch模型参数初始化
qq_27390023的博客
10-25 1185
初始化方法适用场景uniform_一般场景，常用于偏置初始化。normal_通用的权重初始化，适合全连接层或卷积层。constant_常用于偏置初始化为零，或某些固定初始化。对称激活函数（如tanh）的全连接层和卷积层。同上，但使用正态分布初始化。ReLU 或其变体激活函数的深层网络，尤其是卷积神经网络。同上，但使用正态分布初始化。循环神经网络（RNN、LSTM 等），防止梯度消失或梯度爆炸。sparse_稀疏表示的场景，如自编码器或嵌入层。eye_需要初始化为单位矩阵的线性层或特定矩阵。dirac_
pytorch实现模型参数初始化的方法总结
PanYHHH的博客
07-15 5587
本文主要介绍pytorch中CNN模型有哪些常用参数初始化方法，以及如何实现网络层的初始化。 一、常用的初始化方法 import torch.nn as nn import torch weights = torch.empty(2, 2) # 1.用均匀分布的值填充输入张量, 参数a：均匀分布的下界, 默认为0.; 参数b：均匀分布的上界, 默认为1. uniform_weights = nn.init.uniform_(weights, a=0., b=1.) print(uniform_we
Pytorch中的参数初始化
我是天才很好
07-25 6743
文章目录1. 参数初始化（Weight Initialization）1.1 常数初始化1.2 均匀分布初始化1.3 正态分布初始化1.4 Xavier均匀分布1.5 Xavier正态分布1.6 kaiming均匀分布1.7 kaiming正态分布1.8 单位矩阵初始化1.9 正交初始化1.10 稀疏初始化1.11 dirac1.12 计算增益calculate_gain2. 单层初始化3. 模型初始化Xavier InitializationHe et. al Initialization正交初始化（Or
PyTorch模型参数初始化（weights_init）——torch.nn.init、加载预权重
Chaoy6565的博客
12-17 5707
网络模型预权重设置加载初始化。
pytorch中模型参数初始化
blue_sky_wait_me
07-22 3554
参数初始化（Weight Initialization） PyTorch 中参数的默认初始化在各个层的reset_parameters()方法中。例如：nn.Linear和nn.Conv2D，都是在 [-limit, limit] 之间的均匀分布（Uniform distribution），其中 limit 是1. / sqrt(fan_in)，fan_in是指参数张量（tensor）的输入单元的数量 下面是几种常见的初始化方式。 Xavier Initialization Xav...
PyTorch常用参数初始化方法详解
xuhss_com的博客
03-09 7268
Python微信订餐小程序课程视频 https://edu.youkuaiyun.com/course/detail/36074 Python实战量化交易理财系统 https://edu.youkuaiyun.com/course/detail/35475 1、均匀分布初始化 torch.nn.init.uniform_(tensor, a=0, b=1) 从均匀分布U(a, b)中采样，初始化张量。　　参数： tensor - 需要填充的张量 a - 均匀分布的下界 b - 均匀分布的上界 例子： w = to
7、PyTorch 参数初始化及模型保存、加载、微调及推理
Man
02-24 2712
文章目录一、torch.nn.init二、Finetune三、参考资料 一、torch.nn.init 二、Finetune 三、参考资料
pytorch:常见的pytorch参数初始化方法总结
tony365的博客
10-21 5127
使输入的张量服从（a,b）的均匀分布并返回。 从给定的均值和标准差的正态分布N(mean,std)中生成值，初始化张量。 以一确定数值初始化张量。 从均匀分布U(−a, a)中采样，初始化输入张量，其中a的值由如下公式确定,公式中的gain值根据不同的激活函数确定 [1]https://www.cxyzjd.com/article/CQUSongYuxin/110928126 9）正交初始化 10) 自定义初始化 在搭建模型的时候 会 遇到需要自己自定义初始化数据的时候 总之，参数初始化就是 给 参
【Pytorch】模型参数初始化
myaijarvis notebook
05-03 690
凯明初始化 莎莉初始化 pytorch官方用的是凯明初始化 你定义一个param就会自动调用凯明初始化 定义linear或者rnn就会包含param 【参考：深度学习Pytorch入门：神经网络模型的参数初始化操作_PingBryant的博客-优快云博客】 【参考：深度学习中的参数初始化_man_world的博客-优快云博客】 更新待定 ...
pytorch初始化模型参数
weixin_43102043的博客
12-14 343
pytorch初始化模型参数
初始化模型参数 python_Pytorch： 神经网络模型参数初始化与 Finetune
weixin_39601088的博客
12-12 1430
1参数初始化参数的初始化其实就是对参数赋值。而待学习的参数其实都是 Variable，它其实是对 Tensor 的封装，同时提供了data，grad 等接口，这就意味着可以直接对这些参数进行操作赋值。这就是 PyTorch 简洁高效所在。在pytorch中，有自己默认初始化参数方式，所以在你定义好网络结构以后，不进行参数初始化也是可以的。PyTorch在自定义变量及其初始化方法：self.fus...
Pytorch基本使用—参数初始化
weixin_51691064的博客
07-11 3871
在深度学习中，零初始化（Zero Initialization）：将所有权重和偏置初始化为0。然而，这种方法会导致所有神经元具有相同的输出，无法破坏对称性，因此不常用。随机初始化（Random Initialization）：将权重和偏置随机初始化为较小的随机值。这种方法可以打破对称性，但并不能保证初始化的权重和偏置能够适应网络的输入和输出分布。Xavier初始化（Xavier Initialization）：根据每一层的输入维度和输出维度的大小来进行初始化。
《动手学深度学习》(PyTorch版)要点笔记 - 11 【3.15.2 随机初始化模型参数】
ShakalakaPHD的博客
08-20 427
在神经网络中，通常需要随机初始化模型参数。下面我们来解释这样做的原因。 回顾3.8节（多层感知机）图3.3描述的多层感知机。为了方便解释，假设输出层只保留一个输出单元o1，删除o2,o3 以及指向它们的箭头）如图： 且隐藏层使用相同的激活函数。如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传播中，每个隐藏单元的参数梯度值相等。因此，这些参数在使用基于梯度的优化算法迭代后值依然相等。之后的迭代也是如此。在这种情况下，无论隐藏单元
Pytorch 網路模型參數初始化
weixin_43391499的博客
06-21 474
nn. Sequetial torch.nn.Sequential 其實就是 Sequential 容器，該容器將一系列操作按先後順序給包起 來，方便重複使用， 例如 Resnet 中有很多重複的 block，就可以用 Sequential 容器把重複的地方包起來。 官方文檔中給出兩個使用例子： # Example of using `Sequential` model = nn. Sequent...
Pytorch 模型初始化
m0_43395719的博客
08-12 8625
在开始阅读下面的内容之前，我们需要牢记参数初始化的目的是为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关——激活值饱和会导致该层状态梯度信息为0，然后导致下面所有层的参数梯度为0；入激活值为0会导致对应参数梯度为0。所以如果要保证参数梯度不等于0，那么参数初始化应该使得各层激活值不会出现饱和现象且激活值不为0。我们把这两个条件总结为参数初始化条件： 初始化必要条件一：各层激活值不会出现饱和现象。 初始化必
pytorch学习记录01——初始化模型参数
weixin_44136693的博客
07-02 756
本文介绍使用pytorch来对模型权重进行初始化的两种方式
【PyTorch入门】之模型参数的访问、初始化和共享
拇指笔记
03-17 1720
1. 模型参数的访问、初始化和共享 首先回顾一下之前用Sequential创建MLP模型的方法。 net = nn.Sequential( nn.Linear(4,3), nn.ReLU(), nn.Lineaar(3,1), ) print(net) Out[1]: Sequential( (0): Linear(in_features=4, out_features=3, bi...
PyTorch实战：模型初始化策略与技巧
bishedaima_com_v的博客
06-09 378
本系列来总结Pytorch训练中的模型结构一些内容，包括模型定义，模型参数初始化，模型保存与加载等上篇博文简述了模型定义，严格来说，模型参数初始化也是模型构造的一部分，但其又有其特殊性和篇幅，所以我单独列出来深度网络中参数初始化一度是一个热点和难点，在DL发展早期，研究者们对参数初始化方法研究不可谓不多；发展到今，因为网络结构的优化，训练的优化，初始化方法的日趋成熟，参数初始化已渐进成熟。以至我们（至少我）都很少关注这个方向，只是拿来用就可以了，但它在模型训练中还是很重要的；
pytorch中卷积的初始化方法
最新发布
05-27
### PyTorch中卷积层的初始化方法 在PyTorch中，卷积层的初始化可以通过多种方式进行。以下是几种常见的方法： #### 方法一：使用`nn.init`模块 PyTorch提供了`nn.init`模块，用于对网络参数进行初始化。对于卷积层，可以根据激活函数选择合适的初始化方法。例如，当使用ReLU作为激活函数时，通常会采用Kaiming初始化方法[^1]。 ```python import torch.nn as nn import torch.nn.init as init conv = nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1) init.kaiming_normal_(conv.weight, mode='fan_out', nonlinearity='relu') # 使用Kaiming初始化 ``` #### 方法二：遍历模型模块并初始化 在定义网络类时，可以在`__init__()`方法中通过遍历`self.modules()`来获取每一层，并根据具体需求对权重和偏置进行初始化[^1]。 ```python class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.conv1 = nn.Conv2d(3, 16, 3, 1, 1) self.conv2 = nn.Conv2d(16, 32, 3, 1, 1) # 初始化权重 for m in self.modules(): if isinstance(m, nn.Conv2d): init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu') if m.bias is not None: init.constant_(m.bias, 0) ``` #### 方法三：手动赋值权重 如果需要自定义权重或从其他层复制权重，可以手动赋值。这种方法适用于研究场景或特定需求下的初始化[^3]。 ```python # 示例：将所有权重设置为1 conv = nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1) ones = torch.ones_like(conv.weight.data) # 创建一个与权重形状相同的全1张量 conv.weight = nn.Parameter(ones) # 赋值给卷积层权重 # 示例：从另一个卷积层复制权重 q = nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1) conv.weight = nn.Parameter(q.weight.data.clone()) # 复制权重 ``` #### 方法四：绘制权重分布以验证初始化效果 在初始化完成后，可以通过绘制权重分布图来验证初始化的效果[^2]。 ```python import matplotlib.pyplot as plt import numpy as np plt.hist(conv.weight.data.numpy().reshape(-1), bins=30) plt.title("Weight Distribution") plt.show() ``` ### 注意事项 - 在实际应用中，选择合适的初始化方法对模型的收敛速度和性能至关重要。 - 对于不同类型的激活函数（如ReLU、Sigmoid等），应选择匹配的初始化方法。 - 如果使用预训练模型的权重，则可以直接加载权重而无需重新初始化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值