PyTorch参数初始化方法

最新推荐文章于 2025-03-08 12:35:01 发布
转载 最新推荐文章于 2025-03-08 12:35:01 发布 · 4.1k 阅读 · 2

本文详细介绍了PyTorch中各种权重初始化方法，包括均匀分布、正态分布填充及多种专用初始化技术如Xavier和He初始化等，并给出了具体实例。
部署运行你感兴趣的模型镜像

torch.nn.init

torch.nn.init. calculate_gain ( nonlinearity,  param=None ) [source]

Return the recommended gain value for the given nonlinearity function. The values are as follows:

nonlinearity gain
linear 1 1
conv{1,2,3}d 1 1
sigmoid 1 1
tanh 5/3 5/3
relu 2‾√ 2
leaky_relu 2/(1+negative_slope2)‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√ 2/(1+negative_slope2)
Parameters:
  • nonlinearity – the nonlinear function (nn.functional name)
  • param – optional parameter for the nonlinear function

Examples

>>> gain = nn.init.calculate_gain('leaky_relu')
torch.nn.init. uniform ( tensor,  a=0,  b=1 ) [source]

Fills the input Tensor or Variable with values drawn from the uniform distribution  U(a,b) U(a,b).

Parameters:
  • tensor – an n-dimensional torch.Tensor or autograd.Variable
  • a – the lower bound of the uniform distribution
  • b – the upper bound of the uniform distribution

Examples

>>> w = torch.Tensor(3, 5)
>>> nn.init.uniform(w)
torch.nn.init. normal ( tensor,  mean=0,  std=1 ) [source]

Fills the input Tensor or Variable with values drawn from the normal distribution  N(mean,std) N(mean,std).

Parameters:
  • tensor – an n-dimensional torch.Tensor or autograd.Variable
  • mean – the mean of the normal distribution
  • std – the standard deviation of the normal distribution

Examples

>>> w = torch.Tensor(3, 5)
>>> nn.init.normal(w)
torch.nn.init. constant ( tensor,  val ) [source]

Fills the input Tensor or Variable with the value val.

Parameters:
  • tensor – an n-dimensional torch.Tensor or autograd.Variable
  • val – the value to fill the tensor with

Examples

>>> w = torch.Tensor(3, 5)
>>> nn.init.constant(w)
torch.nn.init. eye ( tensor ) [source]

Fills the 2-dimensional input Tensor or Variable with the identity matrix. Preserves the identity of the inputs in Linear layers, where as many inputs are preserved as possible.

Parameters: tensor – a 2-dimensional torch.Tensor or autograd.Variable

Examples

>>> w = torch.Tensor(3, 5)
>>> nn.init.eye(w)
torch.nn.init. dirac ( tensor ) [source]

Fills the {3, 4, 5}-dimensional input Tensor or Variable with the Dirac delta function. Preserves the identity of the inputs in Convolutional layers, where as many input channels are preserved as possible.

Parameters: tensor – a {3, 4, 5}-dimensional torch.Tensor or autograd.Variable

Examples

>>> w = torch.Tensor(3, 16, 5, 5)
>>> nn.init.dirac(w)
torch.nn.init. xavier_uniform ( tensor,  gain=1 ) [source]

Fills the input Tensor or Variable with values according to the method described in “Understanding the difficulty of training deep feedforward neural networks” - Glorot, X. & Bengio, Y. (2010), using a uniform distribution. The resulting tensor will have values sampled from  U(−a,a) U(−a,a) where  a=gain×2/(fan_in+fan_out)‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√×3‾√ a=gain×2/(fan_in+fan_out)×3. Also known as Glorot initialisation.

Parameters:
  • tensor – an n-dimensional torch.Tensor or autograd.Variable
  • gain – an optional scaling factor

Examples

>>> w = torch.Tensor(3, 5)
>>> nn.init.xavier_uniform(w, gain=nn.init.calculate_gain('relu'))
torch.nn.init. xavier_normal ( tensor,  gain=1 ) [source]

Fills the input Tensor or Variable with values according to the method described in “Understanding the difficulty of training deep feedforward neural networks” - Glorot, X. & Bengio, Y. (2010), using a normal distribution. The resulting tensor will have values sampled from  N(0,std) N(0,std) where  std=gain×2/(fan_in+fan_out)‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√ std=gain×2/(fan_in+fan_out). Also known as Glorot initialisation.

Parameters:
  • tensor – an n-dimensional torch.Tensor or autograd.Variable
  • gain – an optional scaling factor

Examples

>>> w = torch.Tensor(3, 5)
>>> nn.init.xavier_normal(w)
torch.nn.init. kaiming_uniform ( tensor,  a=0,  mode='fan_in' ) [source]

Fills the input Tensor or Variable with values according to the method described in “Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification” - He, K. et al. (2015), using a uniform distribution. The resulting tensor will have values sampled from  U(−bound,bound) U(−bound,bound) where  bound=2/((1+a2)×fan_in)‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√×3‾√ bound=2/((1+a2)×fan_in)×3. Also known as He initialisation.

Parameters:
  • tensor – an n-dimensional torch.Tensor or autograd.Variable
  • a – the negative slope of the rectifier used after this layer (0 for ReLU by default)
  • mode – either ‘fan_in’ (default) or ‘fan_out’. Choosing fan_in preserves the magnitude of the variance of the weights in the forward pass. Choosing fan_outpreserves the magnitudes in the backwards pass.

Examples

>>> w = torch.Tensor(3, 5)
>>> nn.init.kaiming_uniform(w, mode='fan_in')
torch.nn.init. kaiming_normal ( tensor,  a=0,  mode='fan_in' ) [source]

Fills the input Tensor or Variable with values according to the method described in “Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification” - He, K. et al. (2015), using a normal distribution. The resulting tensor will have values sampled from  N(0,std) N(0,std)where  std=2/((1+a2)×fan_in)‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√ std=2/((1+a2)×fan_in). Also known as He initialisation.

Parameters:
  • tensor – an n-dimensional torch.Tensor or autograd.Variable
  • a – the negative slope of the rectifier used after this layer (0 for ReLU by default)
  • mode – either ‘fan_in’ (default) or ‘fan_out’. Choosing fan_in preserves the magnitude of the variance of the weights in the forward pass. Choosing fan_outpreserves the magnitudes in the backwards pass.

Examples

>>> w = torch.Tensor(3, 5)
>>> nn.init.kaiming_normal(w, mode='fan_out')
torch.nn.init. orthogonal ( tensor,  gain=1 ) [source]

Fills the input Tensor or Variable with a (semi) orthogonal matrix, as described in “Exact solutions to the nonlinear dynamics of learning in deep linear neural networks” - Saxe, A. et al. (2013). The input tensor must have at least 2 dimensions, and for tensors with more than 2 dimensions the trailing dimensions are flattened.

Parameters:
  • tensor – an n-dimensional torch.Tensor or autograd.Variable, where n >= 2
  • gain – optional scaling factor

Examples

>>> w = torch.Tensor(3, 5)
>>> nn.init.orthogonal(w)
torch.nn.init. sparse ( tensor,  sparsity,  std=0.01 ) [source]

Fills the 2D input Tensor or Variable as a sparse matrix, where the non-zero elements will be drawn from the normal distribution  N(0,0.01) N(0,0.01), as described in “Deep learning via Hessian-free optimization” - Martens, J. (2010).

Parameters:
  • tensor – an n-dimensional torch.Tensor or autograd.Variable
  • sparsity – The fraction of elements in each column to be set to zero
  • std – the standard deviation of the normal distribution used to generate
  • non-zero values (the) –

Examples

>>> w = torch.Tensor(3, 5)
>>> nn.init.sparse(w, sparsity=0.1)

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

pytorch参数初始化方法
qq_40379132的博客
07-14 1万+
N(mean,std)\mathcal{N}(mean,std)N(mean,std)中生成值，填充输入的张量或变量。用Diracδ\deltaδ函数来填充{3,4,5}维输入张量或变量。U(a,b)\mathcal{U}(a,b)U(a,b)中生成值，填充输入的张量或变量。从给定均值和标准差的正态分布N(mean,std)中生成值，填充输入的张量或变量。在线性层尽可能多的保存输入特性。从均匀分布U(a,b)中生成值，填充输入的张量或变量。......
PyTorch常用参数初始化方法详解
xuhss_com的博客
03-09 7293
Python微信订餐小程序课程视频 https://edu.youkuaiyun.com/course/detail/36074 Python实战量化交易理财系统 https://edu.youkuaiyun.com/course/detail/35475 1、均匀分布初始化 torch.nn.init.uniform_(tensor, a=0, b=1) 从均匀分布U(a, b)中采样，初始化张量。　　参数： tensor - 需要填充的张量 a - 均匀分布的下界 b - 均匀分布的上界 例子： w = to
Pytorch中的参数初始化
我是天才很好
07-25 6788
文章目录1. 参数初始化（Weight Initialization）1.1 常数初始化1.2 均匀分布初始化1.3 正态分布初始化1.4 Xavier均匀分布1.5 Xavier正态分布1.6 kaiming均匀分布1.7 kaiming正态分布1.8 单位矩阵初始化1.9 正交初始化1.10 稀疏初始化1.11 dirac1.12 计算增益calculate_gain2. 单层初始化3. 模型初始化Xavier InitializationHe et. al Initialization正交初始化（Or
pytorch中的参数初始化方法
Mr.horse的博客
05-11 1万+
参数初始化（Weight Initialization） PyTorch 中参数的默认初始化在各个层的 reset_parameters() 方法中。例如：nn.Linear 和 nn.Conv2D，都是在 [-limit, limit] 之间的均匀分布（Uniform distribution），其中 limit 是 1. / sqrt(fan_in) ，fan_in 是指参数张量（tensor）的输入单元的数量 下面是几种常见的初始化方式。 Xavier Initialization Xavie
PyTorch模型参数初始化
lavinia_chen007的博客
03-03 3507
文章目录PyTorch默认模型参数初始化 总体来说，模型的初始化是为了让模型能够更快收敛，提高训练速度。当然，也算一个小trick，合理设置是能够提升模型的performance的，当然这就有点炼丹了。 先说明一下，非特殊情况，其实大可不必太关注模型参数初始化。PyTorch默认会进行初始化，如Conv2d，BatchNorm2d和Linear。当然如果有特殊考虑，恰当的初始化是能够给模型Performance有加成的。下面介绍一下PyTorch默认的参数初始化，可以选用的初始化方法以及对整个模型如何进行参
python PyTorch参数初始化和Finetune
09-20
在深度学习框架PyTorch中，参数初始化和Finetune是两个重要的概念，它们对于模型的训练效果有着显著的影响。本文将深入探讨这两个主题，并提供一些实用的代码示例。 参数初始化是神经网络模型训练的第一步，其目的...
Pytorch 实现权重初始化
09-18
PyTorch 的 `torch.nn.init` 包提供了多种权重初始化方法，包括： - `constant(tensor, val)`：将张量的所有元素设置为给定的常数值 `val`。 - `normal(tensor, mean=0, std=1)`：根据给定的均值 `mean` 和标准差...
Pytorch参数初始化设置
hello！
03-08 1332
在PyTorch中，如果不对网络参数进行显式初始化，各层会使用其默认的初始化方法。
【pytorch参数初始化】 pytorch默认参数初始化以及自定义参数初始化
热门推荐
华仔的博客
07-30 4万+
本文用两个问题来引入 1.pytorch自定义网络结构不进行参数初始化会怎样，参数值是随机的吗？ 2.如何自定义参数初始化？ 先回答第一个问题 在pytorch中，有自己默认初始化参数方式，所以在你定义好网络结构以后，不进行参数初始化也是可以的。 1.Conv2d继承自_ConvNd，在_ConvNd中，可以看到默认参数就是进行初始化的，如下图所示 2.torch.nn.B...
7、PyTorch 参数初始化及模型保存、加载、微调及推理
Man
02-24 2744
文章目录一、torch.nn.init二、Finetune三、参考资料 一、torch.nn.init 二、Finetune 三、参考资料
对Pytorch神经网络初始化kaiming分布详解
09-18
今天小编就为大家分享一篇对Pytorch神经网络初始化kaiming分布详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch系列 | 参数初始化方法（权值初始化）
weixin_48249563的博客
03-25 1124
https://pytorch.org/docs/stable/nn.init.html
Pytorch基本使用—参数初始化
weixin_51691064的博客
07-11 3901
在深度学习中，零初始化（Zero Initialization）：将所有权重和偏置初始化为0。然而，这种方法会导致所有神经元具有相同的输出，无法破坏对称性，因此不常用。随机初始化（Random Initialization）：将权重和偏置随机初始化为较小的随机值。这种方法可以打破对称性，但并不能保证初始化的权重和偏置能够适应网络的输入和输出分布。Xavier初始化（Xavier Initialization）：根据每一层的输入维度和输出维度的大小来进行初始化。
【深度学习pytorch-29】网络参数初始化
m0_69378371的博客
02-16 868
网络参数初始化是深度学习模型训练的第一步，它决定了模型参数的初始值。
pytorch:常见的pytorch参数初始化方法总结
tony365的博客
10-21 5148
使输入的张量服从（a,b）的均匀分布并返回。 从给定的均值和标准差的正态分布N(mean,std)中生成值，初始化张量。 以一确定数值初始化张量。 从均匀分布U(−a, a)中采样，初始化输入张量，其中a的值由如下公式确定,公式中的gain值根据不同的激活函数确定 [1]https://www.cxyzjd.com/article/CQUSongYuxin/110928126 9）正交初始化 10) 自定义初始化 在搭建模型的时候 会 遇到需要自己自定义初始化数据的时候 总之，参数初始化就是 给 参
pytorch实现模型参数初始化的方法总结
PanYHHH的博客
07-15 5604
本文主要介绍pytorch中CNN模型有哪些常用参数初始化方法，以及如何实现网络层的初始化。 一、常用的初始化方法 import torch.nn as nn import torch weights = torch.empty(2, 2) # 1.用均匀分布的值填充输入张量, 参数a：均匀分布的下界, 默认为0.; 参数b：均匀分布的上界, 默认为1. uniform_weights = nn.init.uniform_(weights, a=0., b=1.) print(uniform_we
pytorch-权值初始化
xiaoxiao_2446xuxu的博客
01-20 1264
文章目录pytorch-权值初始化正常情况Xavier均匀分布Xavier标准正态分布Kaiming均匀分布Kaiming标准正态分布均匀分布正态分布常数分布正交矩阵初始化单位矩阵初始化稀疏矩阵初始化 pytorch-权值初始化 因为不恰当的权值初始化是会导致梯度爆炸，w的梯度会依赖于上一层的输出，输出非常小大，会引发梯度消失，爆炸。要严格控制网络输出值的尺度范围，不能太大，太小。 正常情况 # -*- coding: utf-8 -*- """ # @file name : grad_vanish_e
初始化、正则化调试（基于简单Linear，pytorch）
lryjy的博客
11-21 1152
一.权重初始化（正态分布可以加速学习）： 初始化权重，使其数据保持标准差在1左右以防止梯度消失或者爆炸，在卷积神经网络中常用，pytorch直接默认了 自定义初始化权重 import torch.nn as nn import torch class Network(nn.Module): def __init__(self): super().__init__() self.Conv2d = nn.Conv2d(3, 10) self.bn = n
pytorch06：权重初始化
慕溪同学的博客
01-03 2125
增加tanh激活函数之后，随着网络层的增加，标准差越来越小，从而会导致梯度消失的现象，下面将说明Xavier方法与Kaiming方法是如何解决该问题。观察第二个隐藏层的权值的梯度是如何求取的，根据链式法则，可以得到如下计算公式，会发现w2的梯度依赖上一层的输出值H1；根据1,2,3，可以得出,x，y的方差计算公式，当x,y的期望值都为0的时候，x,y的方差等于x的方差乘以y的方差。主要功能：计算激活函数的方差变化尺度(也就是输入数据的方差/经过激活函数之后的方差)
pytorch参数初始化
最新发布
03-19
<think>好的，我需要帮助用户了解在PyTorch中进行参数初始化的方法。首先，我应该回顾用户提供的引用内容，看看有哪些相关信息。引用1提到PyTorch的张量初始化与基本运算，引用2和3讨论了参数初始化的不同方法，如高斯分布、均匀分布、Xavier和He初始化。引用4提到了如何在PyTorch中遍历模型层并应用特定初始化。 用户的问题是关于PyTorch参数初始化的教程，所以需要系统地整理这些方法，并给出具体的代码示例。根据引用3，常见的初始化方法包括随机、零、正态、均匀，以及更高级的Xavier和He初始化。引用4提到如何在模型初始化时遍历各层并应用不同的方法，比如对卷积层使用kaiming初始化。 接下来，我需要将信息结构化。首先介绍内置初始化方法，如`init`模块中的函数，然后讲解自定义初始化方法，比如通过遍历模块并应用初始化。然后可以提到迁移学习中的预训练初始化，最后总结注意事项，如激活函数的影响和参数类型的不同处理。 需要确保代码示例正确，比如使用`torch.nn.init`下的函数，并展示如何应用到模型的层。同时，注意用户提到的LaTeX格式要求，行内公式用$...$，独立公式用$$...$$，比如初始化公式可能需要单独成段。 还需要生成相关问题，可能涉及不同初始化方法的比较、选择依据、在模型中的应用步骤以及调试方法。确保引用正确，比如引用[^2][^3][^4]在相关部分末尾自然添加。 最后检查是否符合所有系统级指令，特别是中文回答、LaTeX格式正确，结构清晰，分步骤说明，并附上相关问题。</think>### PyTorch参数初始化方法教程 在PyTorch中，参数初始化是模型训练的重要环节，合理的初始化能加速收敛并提高模型性能。以下是常见的初始化方法及实现步骤： --- #### 一、内置初始化方法 PyTorch通过`torch.nn.init`模块提供多种初始化函数： 1. **零初始化** 将参数初始化为零，适用于偏置项（bias）： ```python torch.nn.init.zeros_(tensor) ``` 2. **常数初始化** 将参数初始化为固定值： ```python torch.nn.init.constant_(tensor, value=0.1) ``` 3. **正态分布初始化** 基于高斯分布初始化参数，需指定均值（`mean`）和标准差（`std`）： ```python torch.nn.init.normal_(tensor, mean=0.0, std=0.01) ``` 4. **均匀分布初始化** 在区间$[a, b]$内均匀采样： ```python torch.nn.init.uniform_(tensor, a=0.0, b=1.0) ``` --- #### 二、高级初始化方法 1. **Xavier/Glorot初始化** 适用于线性层和激活函数（如Tanh、Sigmoid），通过缩放方差保持输入输出方差一致。公式为： $$W \sim U\left(-\sqrt{\frac{6}{n_{\text{in}} + n_{\text{out}}}}, \sqrt{\frac{6}{n_{\text{in}} + n_{\text{out}}}}\right)$$ PyTorch实现： ```python torch.nn.init.xavier_uniform_(tensor) # 均匀分布 torch.nn.init.xavier_normal_(tensor) # 正态分布 ``` 2. **He/Kaiming初始化** 针对ReLU激活函数优化，公式基于输入维度$n_{\text{in}}$的方差缩放[^3]： $$W \sim N\left(0, \sqrt{\frac{2}{n_{\text{in}}}}\right)$$ PyTorch实现： ```python torch.nn.init.kaiming_uniform_(tensor, mode='fan_in', nonlinearity='relu') # 均匀分布 torch.nn.init.kaiming_normal_(tensor, mode='fan_in', nonlinearity='relu') # 正态分布 ``` --- #### 三、自定义初始化方法 通过遍历模型层，针对不同类型层应用初始化策略[^4]： ```python def init_weights(m): if isinstance(m, torch.nn.Linear): torch.nn.init.xavier_normal_(m.weight) if m.bias is not None: torch.nn.init.zeros_(m.bias) elif isinstance(m, torch.nn.Conv2d): torch.nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu') model = MyModel() model.apply(init_weights) # 递归应用初始化函数 ``` --- #### 四、迁移学习中的初始化 使用预训练模型参数作为初始值： ```python pretrained_model = torchvision.models.resnet18(pretrained=True) model = MyCustomModel() model.load_state_dict(pretrained_model.state_dict(), strict=False) # 部分加载参数 ``` --- #### 五、注意事项 1. **激活函数适配** 如ReLU适合He初始化，Tanh适合Xavier初始化。 2. **参数类型区分** 权重（weights）和偏置（bias）通常采用不同策略。 3. **梯度影响** 初始化范围过大可能导致梯度爆炸，过小可能引发梯度消失。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值