【torch.nn.init】初始化参数方法解读

最新推荐文章于 2025-05-10 23:07:12 发布
原创 最新推荐文章于 2025-05-10 23:07:12 发布 · 4.3k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习 #人工智能

本文详细介绍了PyTorch中torch.nn.init模块的各种权重初始化方法，包括均匀分布、正态分布、常数分布等，并提供了丰富的示例代码帮助读者理解和应用。

文章目录

torch.nn.init

均匀分布

  • 格式

    torch.nn.init.uniform_(tensor, a=0.0, b=1.0)

  • 作用

    从均匀分布 U ( a , b ) U(a,b) U(a,b)中生成值，填充输入的张量或变量。

  • 参数

    • tensor n 维的torch.Tensor
    • a 均匀分布的下界
    • b均匀分布的上界

  • 例子

w = torch.empty(3, 5)
nn.init.uniform_(w)

正态分布

  • 格式

    **torch.nn.init.normal_(tensor, mean=0.0, std=1.0)**

  • 作用

    从给定均值和标准差的正态分布 N ( m e a n , s t d ) N(mean,std) N(mean,std)中生成值，填充输入的张量或变量。

  • 参数

    • tensorn维的torch.Tensor
    • mean 正态分布的均值
    • std 正态分布的标准差
w = torch.empty(3, 5)
nn.init.normal_(w)

常数分布

  • 格式

    torch.nn.init.constant_(tensor, val)

  • 作用

    用val的值填充输入的张量或变量

  • 参数

    • ten
最低0.47元/天 解锁文章
pytorch系列 -- 9 pytorch nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization
墨流觞的博客
11-11 6万+
本文内容： 1. Xavier 初始化 2. nn.init 中各种初始化函数 3. He 初始化 torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init 1. 均匀分布 torch.nn.init.uniform_(tensor, a=0, b=1) 服从~U(a,b)U(a, b)U(a,b) 2. 正太分布 tor...
nn.init.xavier_uniform_()的作用：根据均匀分布生成Tensor
qq_34740277的博客
04-21 1429
【代码】nn.init.xavier_uniform_()的作用：根据均匀分布生成Tensor。
Pytorch nn.init 参数初始化方法
热门推荐
Vic_Hao的博客
06-01 1万+
Gain is a proportional value that shows the relationship between the magnitude of the input to the magnitude of the output signal at the steady state. Many systems contain a method by which the gain c...
【Pytorch】torch.nn.init.xavier_uniform_()
海到无边天作岸 山登绝顶我为峰
09-02 9215
Hello！ଘ(੭ˊᵕˋ)੭昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！唯有努力💪本文仅记录自己感兴趣的内容文章仅作为个人学习笔记记录，记录从0到1的一个过程希望对您有一点点帮助，如有错误欢迎小伙伴指正。
深入浅出Pytorch函数——torch.nn.init.uniform_
冯·诺依曼
08-19 4626
torch.nn.init.uniform_(tensor, a=0.0, b=1.0)
通过torch.nn.init更改模型初始化参数
OldDriver1995的博客
05-21 1108
比如模型如下： class Net(nn.Module): # 初始化定义网络的结构：也就是定义网络的层 def __init__(self): super(Net,self).__init__() self.layer1 = nn.Sequential( nn.Conv2d(3,6,kernel_size=5,stride=1,padding=0), # 激活函数
torch.nn.init 模块介绍
qq_27390023的博客
12-25 1130
PyTorch 的模块提供了一组用于初始化张量或模型参数的函数。这些初始化方法对深度学习模型的训练收敛速度和性能有显著影响，正确选择初始化方法可以避免梯度消失或爆炸等问题。提供了一系列函数，用于对张量（如权重或偏置）进行初始化。这些函数可以直接作用于张量，或者配合nn.Module的apply方法对模型参数进行批量初始化。以下是。
Pytorch网络参数初始化方法总结torch.nn.init
神仙院B栋4楼保安的博客
12-09 2999
Pytorch网络参数初始化方法总结均匀分布初始化torch.nn.init.uniform_()正态分布初始化torch.nn.init.normal_()常量初始化torch.nn.init.constant_()Xavier初始化Xavier均匀分布初始化torch.nn.init.xavier_uniform_()Xavier正态分布初始化torch.nn.init.xavier_normal_()kaiming初始化kaiming均匀分布初始化torch.nn.init.kaiming_unifo
torch 中 nn.init.xavier_uniform_ 方法
Python领域优质萌新学习笔记
06-18 7374
具体而言，Xavier 初始化通过从均匀分布中抽取权重值，使得权重的方差等于输入和输出维度之和的倒数。初始化是一种常用的权重初始化方法，旨在解决深度神经网络训练过程中的梯度消失和梯度爆炸问题。该方法通过根据网络的输入和输出维度来初始化权重，使得前向传播和反向传播过程中的信号保持相对一致的方差。它会对传入的张量进行原位修改，将张量中的数值初始化为均匀分布中的随机值，范围为。中的一个参数初始化方法，用于初始化神经网络的权重。对于偏置项的初始化，可以使用其他适当的方法，例如常数初始化或零初始化。
torch.nn.init.uniform_
最新发布
Herbert
05-10 611
是 PyTorch 中用于初始化张量（tensor）的一个函数，它的作用是将张量的值填充为从均匀分布中采样的随机数。
Pytorch - TORCH.NN.INIT 参数初始化方法
小花生的博客
10-31 6121
Pytorch - TORCH.NN.INIT 参数初始化方法 路径： https://pytorch.org/docs/master/nn.init.html#nn-init-doc 初始化函数：torch.nn.init # -*- coding: utf-8 -*- """ Created on 2019 @author: fancp """ import torch import...
torch.nn.init 官方使用手册「总结」
江南蜡笔小新
03-28 3238
https://ptorch.com/docs/1/nn-init
torch.nn.init
正在挣扎中的人
12-20 1389
详解torch.nn.init
pytorch 笔记：torch.nn.init
qq_40206371的博客
01-20 1410
这个在后面的一些nn.init初始化中会用到。
nn.init
芒果干的博客
02-27 423
nn.init初始化函数参数: pytorch文档nn.init.uniform_(tensor, a=0, b=1)下面举一个初始化时的例子 可以看到初始化的结果在0-1之间，当初始化的数据足够多时服从均匀分布，之后的初始化方法与之相同，就不在举例了持续更新中…
深入浅出Pytorch函数——torch.nn.init.orthogonal_
冯·诺依曼
08-19 3954
torch.nn.init.orthogonal_(tensor, gain=1)
深入浅出Pytorch函数——torch.nn.init.xavier_normal_
冯·诺依曼
08-19 4101
torch.nn.init.xavier_normal_(tensor, gain=1.0)
torch.nn.Linear 参数初始化
01-11
### PyTorch 中 `torch.nn.Linear` 参数初始化方法 在构建神经网络时，权重和偏置的初始值对于训练过程至关重要。不恰当的初始化可能导致梯度消失或爆炸等问题，影响模型的学习效率。 #### 使用默认初始化方式 当创建一个新的线性层实例时，默认情况下会自动调用 Kaiming Uniform 初始化器来设置该模块内部张量的数据分布[^2]： ```python import torch from torch import nn linear_layer = nn.Linear(784, 256) print(linear_layer.weight.data) # 查看当前权重量化后的随机数 ``` #### 自定义初始化函数 除了依赖框架自带的方式外，还可以通过重写 `_initialize_weights()` 或者直接操作 `.weight` 属性来进行个性化配置。这里给出几种常见的做法： ##### Xavier/Glorot 均匀分布初始化 Xavier 是一种广泛采用的技术，它考虑到了每一层输入输出节点数量之间的关系，从而使得信号能够稳定传递给下一层。 ```python def init_xavier_uniform(layer): if type(layer) == nn.Linear: torch.nn.init.xavier_uniform_(layer.weight) model = nn.Sequential( nn.Flatten(), nn.Linear(784, 256), nn.ReLU() ).apply(init_xavier_uniform) ``` ##### 正态/高斯分布初始化 有时也可能会希望按照标准正态分布 N(0, σ²) 来分配这些参数，在这种场景下可以利用 `normal_()` 函数完成任务。 ```python for param in linear_layer.parameters(): if len(param.shape) > 1: # 只处理二维以上的张量（即权重） torch.nn.init.normal_(param, mean=0., std=0.01) ``` ##### 随机均匀分布初始化 如果想要让所有的数值都落在某个特定区间内，则可以选择 uniform_() 方法实现这一点。 ```python nn.init.uniform_(tensor=linear_layer.bias, a=-0.1, b=0.1) ``` 上述三种方案各有优劣之处，实践中可以根据具体情况灵活选用最适合自己项目的那一款。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zyw2002

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值