Pytorch网络参数初始化方法总结torch.nn.init

最新推荐文章于 2025-03-11 22:44:52 发布
最新推荐文章于 2025-03-11 22:44:52 发布
阅读量2.9k 收藏 39
点赞数 7
分类专栏： Pytorch 文章标签： 深度学习 机器学习 pytorch 神经网络 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CQUSongYuxin/article/details/110928126
版权
本文总结了PyTorch中几种常用的网络参数初始化方法，包括均匀分布、正态分布、Xavier和Kaiming初始化。详细介绍了Xavier均匀和正态分布以及Kaiming均匀和正态分布的实现，特别指出它们在不同激活函数下的适用性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Pytorch网络参数初始化方法总结

参考1：官网
参考2：博客

均匀分布初始化torch.nn.init.uniform_()

torch.nn.init.uniform_(tensor, a=0.0, b=1.0)

使输入的张量服从（a,b）的均匀分布并返回。
参数

  • tensor – n维张量
  • a –均匀分布的上界
  • b –均匀分布的下界

正态分布初始化torch.nn.init.normal_()

torch.nn.init.normal_(tensor, mean=0.0, std=1.0)

从给定的均值和标准差的正态分布N(mean,std2)中生成值，初始化张量。
参数

最低0.47元/天 解锁文章
torch 默认参数初始化_[DL] PyTorch 折桂 8：torch.nn.init
weixin_39667509的博客
11-25 455
往期汇总：PyTorch 折桂 1：张量的性质PyTorch 折桂 2：张量的运算 1PyTorch 折桂 3：张量的运算 2PyTorch 折桂 4：torch.autographPyTorch 折桂 5：PyTorch 模块总览 & torch.utils.dataPyTorch 折桂 6：torch.nn 总览 & torch.nn.ModulePyTorch 折桂...
211014记录：pytorch模型中初始化公式（共13种）总结torch.nn.init
weixin_48635857的博客
10-14 816
torch官方网址： https://pytorch.org/docs/stable/nn.init.html 1、均匀分布U(a,b) torch.nn.init.uniform_(tensor, a=0.0, b=1.0) 2、 torch.nn.init.normal_(tensor, mean=0.0, std=1.0) 3、 torch.nn.init.constant_(tensor, val) 4、 torch.nn.init.ones_(tensor) 5、 torch.nn.init.z
Torch 网络层 参数的初始化问题
a1424262219的博客
12-22 232
　　Torch 网络层 参数的初始化问题 　　参考链接：https://github.com/Kaixhin/nninit 　　从 Torch 中自带的包，可以看到：https://github.com/torch/torch7/wiki/Cheatsheet#utility-libraries 　　在 Machine Learning 这一栏当中，有一软件包 n...
Kaiming Uniform 初始化：神经网络权重初始化的优雅解决方案
最新发布
阿正的梦工坊
03-11 1051
Kaiming 初始化通过分析网络的方差传播，提出了一种基于层输入和输出维度的初始化方法，确保信号在深层网络中的稳定传递。
PyTorch框架学习十一——网络层权值初始化
qq_40467656的博客
08-18 695
PyTorch框架学习十一——网络层权值初始化一、均匀分布初始化二、正态分布初始化三、常数初始化四、Xavier 均匀分布初始化五、Xavier正态分布六、 前面的笔记介绍了网络模型的搭建，这次将介绍网络层权值的初始化，适当的初始化方法可以使得避免梯度消失或梯度爆炸等问题，还能一定程度上加快网络的训练迭代过程。 下面将介绍PyTorch中十种常用的权值初始化的方法： 一、均匀分布初始化 torch.nn.init.uniform_(tensor: torch.Tensor, a: float = 0.0,
深入浅出Pytorch函数——torch.nn.init.normal_
冯·诺依曼
08-19 2040
torch.nn.init.normal_(tensor, mean=0.0, std=1.0)
PyTorch----神经网络的建立
bjsyc123456的博客
05-21 329
神经网络就是很多的线性函数和非线性函数组成的复合函数。 自定义类继承torch.nn.Module 自定义类中实现__init__和forward()函数 __init__定义神经网络结构 forward()模型的正向传播 class NeuralNet(torch.nn.Module): """自定义神经网络""" def __init__(self,input_size,hidden_size): # 参数为输入维度 和 隐藏层维度 # 调用父类初始化函数
torch.nn.init 模块介绍
qq_27390023的博客
12-25 1024
PyTorch 的模块提供了一组用于初始化张量或模型参数的函数。这些初始化方法对深度学习模型的训练收敛速度和性能有显著影响，正确选择初始化方法可以避免梯度消失或爆炸等问题。提供了一系列函数，用于对张量（如权重或偏置）进行初始化。这些函数可以直接作用于张量，或者配合nn.Module的apply方法对模型参数进行批量初始化。以下是。
深度学习之pytorch 中 torch.nn介绍
qinbaby的专栏
02-20 2524
pytorch 中必用的包就是 torch.nn，torch.nn 中按照功能分，主要如下有几类：1. Layers（层）：包括全连接层、卷积层、池化层等。2. Activation Functions（激活函数）：包括ReLU、Sigmoid、Tanh等。3. Loss Functions（损失函数）：包括交叉熵损失、均方误差等。4. Optimizers（优化器）：包括SGD、Adam、RMSprop等。
pytorch里面的nn库：torch.nn.modules、torch.nn.functional、torch.nn.parameter、torch.nn.Sequential
Amanda_python的博客
01-09 1546
torch.nn是专门为神经网络设计的模块化接口 torch.nn构建与autograd之上，可以用来定义和运行神经网络 介绍一下四大库：torch.nn.modules、torch.nn.functional、torch.nn.parameter、torch.nn.Sequential torch.nn.modules ************torch.nn.modules************* torch.nn.MSELoss torch.nn.CrossEntropyLoss torch.nn
pytorch 构建神经网络
Maisuluo的博客
10-25 529
我们通过子类化定义我们的神经网络nn.Module，并在__init__中初始化神经网络层。每个nn.Module子类都在forward方法中实现对输入数据的操作。)复制代码我们创建NeuralNetwork的实例，并将其移动到device，并打印其结构。复制代码))复制代码要使用模型，我们将输入数据传递给它。这将执行模型的forward，以及一些后台操作。但不要直接调用！
Pytorch 多层感知机
负负得正的博客
04-15 2103
多层感知机 0. 环境介绍 环境使用 Kaggle 里免费建立的 Notebook 教程使用李沐老师的 动手学深度学习 网站和 视频讲解 小技巧：当遇到函数看不懂的时候可以按 Shift+Tab 查看函数详解。 1.
torch.nn.init.kaiming_normal_
weixin_36670529的博客
08-17 1万+
torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')[source] Fills the input Tensor with values according to the method described in Delving deep into rectifiers: Surp...
Pytorch----torch.nn.init
weiwei935707936的博客
11-06 312
均匀分布： torch.nn.init.uniform_(tensor, a=0, b=1) 正太分布： torch.nn.init.normal_(tensor, mean=0, std=1) 常数： torch.nn.init.constant_(tensor, val) Xavier： 通过网络层时，输入和输出的方差相同，包括向前传播和反向传播 如果初始化值很小，那么随着层数的传递，方差就会趋于0，此时输入值 也变得越来越小，在sigmoid上就是在0附近，接近于线性，.
Pytorch学习笔记--常用函数nn.init.normal()、nn.init.constant_()、torch.from_numpy()、torch.index_select()总结4
牵一只蜗牛去散步
12-02 3332
torch.from_numpy(numpy_array)基于输入numpy数组（numpy_array）返回一个tensor张量（数据不变，类型转换），作用是转换numpy_array -> tensor。torch.nn.init.constant_(tensor, val)基于输入参数（val）初始化输入张量tensor，即tensor的值均初始化为val。torch.nn.init.normal(tensor, mean, std)基于输入参数（均值mean和标准差std）输入张量tensor；
【torch杂记】torch.nn.init.kaiming_normal_
椰子奶糖的博客
07-03 1万+
torch.nn.init.kaiming_normal_ 文章目录torch.nn.init.kaiming_normal_参考源码 参考 torch.nn.init.kaiming_normal_ python中的numel()函数 源码 这个函数就是实现这个公式 std=gainfan_mode \text{std} = \frac{\text{gain}}{\sqrt{\text{fan\_mode}}} std=fan_mode​gain​ def kaiming_normal_(
Pytorch神经网络初始化kaiming分布
热门推荐
winycg的博客
01-25 2万+
函数的增益值 torch.nn.init.calculate_gain(nonlinearity, param=None) 提供了对非线性函数增益值的计算。 增益值gain是一个比例值，来调控输入数量级和输出数量级之间的关系。 fan_in和fan_out pytorch计算fan_in和fan_out的源码 def _calculate_fan_in_and_fan_out(tensor): ...
pytorch 获取模型参数_[PyTorch]PyTorch中模型的参数初始化的几种方法（转）
weixin_39717121的博客
12-21 230
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~转载请注明出处：参考网址：说明：暂时就这么多吧，错误之处请见谅。前两个初始化的方法见pytorch官方文档1. xavier初始化torch.nn.init.xavier_uniform(tensor, gain=1)对于输入的tensor或者变量，通过论文Understanding the difficulty of t...
pytorch默认初始化_对Pytorch神经网络初始化kaiming分布详解
weixin_39996141的博客
12-22 1009
函数的增益值torch.nn.init.calculate_gain(nonlinearity, param=None)提供了对非线性函数增益值的计算。增益值gain是一个比例值，来调控输入数量级和输出数量级之间的关系。fan_in和fan_outpytorch计算fan_in和fan_out的源码def _calculate_fan_in_and_fan_out(tensor):dimensio...
torch.nn.Linear 参数初始化
01-11
### PyTorch 中 `torch.nn.Linear` 参数初始化方法 在构建神经网络时，权重和偏置的初始值对于训练过程至关重要。不恰当的初始化可能导致梯度消失或爆炸等问题，影响模型的学习效率。 #### 使用默认初始化方式 当创建一个新的线性层实例时，默认情况下会自动调用 Kaiming Uniform 初始化器来设置该模块内部张量的数据分布[^2]： ```python import torch from torch import nn linear_layer = nn.Linear(784, 256) print(linear_layer.weight.data) # 查看当前权重量化后的随机数 ``` #### 自定义初始化函数 除了依赖框架自带的方式外，还可以通过重写 `_initialize_weights()` 或者直接操作 `.weight` 属性来进行个性化配置。这里给出几种常见的做法： ##### Xavier/Glorot 均匀分布初始化 Xavier 是一种广泛采用的技术，它考虑到了每一层输入输出节点数量之间的关系，从而使得信号能够稳定传递给下一层。 ```python def init_xavier_uniform(layer): if type(layer) == nn.Linear: torch.nn.init.xavier_uniform_(layer.weight) model = nn.Sequential( nn.Flatten(), nn.Linear(784, 256), nn.ReLU() ).apply(init_xavier_uniform) ``` ##### 正态/高斯分布初始化 有时也可能会希望按照标准正态分布 N(0, σ²) 来分配这些参数，在这种场景下可以利用 `normal_()` 函数完成任务。 ```python for param in linear_layer.parameters(): if len(param.shape) > 1: # 只处理二维以上的张量（即权重） torch.nn.init.normal_(param, mean=0., std=0.01) ``` ##### 随机均匀分布初始化 如果想要让所有的数值都落在某个特定区间内，则可以选择 uniform_() 方法实现这一点。 ```python nn.init.uniform_(tensor=linear_layer.bias, a=-0.1, b=0.1) ``` 上述三种方案各有优劣之处，实践中可以根据具体情况灵活选用最适合自己项目的那一款。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值