【PyTorch】模型参数初始化 weights_init

最新推荐文章于 2025-03-08 12:49:38 发布
最新推荐文章于 2025-03-08 12:49:38 发布
阅读量1.5w 收藏 17
点赞数 2
分类专栏： PyTorch 文章标签： pytorch weights initialize
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/baishuo8/article/details/89845815
版权
本文介绍了在PyTorch中如何进行模型参数初始化，特别是使用`apply`函数的应用，并提到了其他多种初始化方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Backto PyTorch Index

方法一：调用 apply

torch.nn.Module.apply(fn)
# 递归的调用weights_init函数,遍历nn.Module的submodule作为参数
# 常用来对模型的参数进行初始化
# fn是对参数进行初始化的函数的句柄,fn以nn.Module或者自己定义的nn.Module的子类作为参数
# fn (Module -> None) – function to be applied to each submodule
# Returns:  self
#　Return type:  Module

例子:

def
最低0.47元/天 解锁文章
初始化模型参数 python_pytorch 网络参数 weight bias 初始化详解_python_脚本之家
weixin_39928787的博客
12-12 3654
权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。在pytorch的使用过程中有几种权重初始化的方法供大家参考。注意：第一种方法不推荐。尽量使用后两种方法。# not recommenddef weights_init(m):classname = m.__class__.__name__if classname.find('Conv') != -1:m.wei...
PyTorch模型参数初始化
qq_27390023的博客
10-25 870
初始化方法适用场景uniform_一般场景，常用于偏置初始化。normal_通用的权重初始化，适合全连接层或卷积层。constant_常用于偏置初始化为零，或某些固定初始化。对称激活函数（如tanh）的全连接层和卷积层。同上，但使用正态分布初始化。ReLU 或其变体激活函数的深层网络，尤其是卷积神经网络。同上，但使用正态分布初始化。循环神经网络（RNN、LSTM 等），防止梯度消失或梯度爆炸。sparse_稀疏表示的场景，如自编码器或嵌入层。eye_需要初始化为单位矩阵的线性层或特定矩阵。dirac_
PyTorch模型参数初始化（weights_init）——torch.nn.init、加载预权重
Chaoy6565的博客
12-17 5457
网络模型预权重设置加载初始化。
pytorch常用参数初始化
最新发布
hello！
03-08 835
修正ReLU族的负区间影响，适用于ReLU/LeakyReLU。：保持输入输出方差一致，适用于tanh/sigmoid激活。：保持输入输出空间的正交性，适用于RNN/LSTM。：权重矩阵满足 ( W^T W = I )：限制采样范围在±2std内，避免极端值。：权重初始化为0（不推荐用于隐藏层）：导致所有神经元对称更新，失去多样性。：随机将部分权重设为0，打破对称性。：将最后一个BN层的权重初始化为0。Kaiming初始化。
pytorch——weights_init(m)
Linyuxinlxy的博客
10-14 9463
本文参考连接：https://www.jianshu.com/p/c982d55db463 个人认为是讲的比较通俗易懂的一篇好文。 针对于不同层类型定制化初始化 举个栗子： def weights_init(m): ##定义参数初始化函数 classname = m.__class__.__name__ # m作为一个形参，原则上可以传递很多...
【Pytorch 学习笔记】def init_weights() 初始化参数
zjy_cn的博客
10-19 5032
nn.init.constant_() 是 torch.nn 中的用于填充数值的函数，这里用于指定初始化值，还有许多其他函数可用于此。在生成网络 net 时，会指定 net 最初的权重，对于一些预训练好的模型权重，就可以放在这个部分进行加载。在 CNN 中，经常可以看见 init_weights() 函数，它是用来初始化网络参数的。并不是所有的层都能初始化权重的，比如 nn.MaxPool2d()，它是无法初始化的。init_weights(self, m) 中的 m 就是指 net 中的某一层。
pytorch weight init
u012483097的博客
09-15 841
def weights_init(m): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight) if m.bias is not None: nn.init.constant_(m.bias, 0) model.apply(weight_init)
pytorch默认初始化_Pytorch：参数初始化 笔记
weixin_39520775的博客
12-22 2056
一、参数初始化概述在设计好神经网络结构之后，权重初始化方式会很大程度上影响模型的训练过程和最终效果。权重初始化方式包括ImageNet预训练参数，kaiming_uniform方式以及多种权重初始化方式。这篇笔记主要记录一下Pytorch中内置的各种权重初始化方式的原理与使用。神经网络中需要进行参数初始化操作的有Linear，Conv，BN等。二、Pytorch中的参数初始化方法2.1 不进行初始...
PyTorch常用参数初始化方法详解
xuhss_com的博客
03-09 7152
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 1、均匀分布初始化 torch.nn.init.uniform_(tensor, a=0, b=1) 从均匀分布U(a, b)中采样，初始化张量。　　参数： tensor - 需要填充的张量 a - 均匀分布的下界 b - 均匀分布的上界 例子： w = to
PyTorch模型权重初始化全攻略
xziyuan的博客
07-08 622
Pytroch常见的模型参数初始化方法有apply和model.modules()。Pytroch会自动给模型进行初始化，当需要自己定义模型初始化时才需要这两个方法。
pytorch中weight-initilzation
xrinosvip的博客
01-16 870
pytorch权值初始化 官方论坛关于weight-initilzation的讨论 对模型参数进行初始化 官方论坛链接：https://discuss.pytorch.org/t/weight-initilzation/157/3 单独定义一个weights_init函数,输入参数是m(torch.nn.module或者自己定义的继承nn.module的子类)  然后使用net.appl...
weight-init.lua
我是个渣
09-18 702
今天用torch7跑mnist遇到了 /torch/install/share/lua/5.1/trepl/init.lua:389: module 'weight-init' not found:No LuaRocks module found for weight-init 这个问题，搜了一下，需要一个weight-init.lua的第三方模块 找到一篇博客，需要积分才能下载，又找了
Torch模型权重初始化
MAX的专栏
10-16 2654
初始化方法在 torch.nn.init 中 实例化模型后,在模型init函数中初始化权重 初始化函数: def initialize_weights(self): for m in self.modules(): if isinstance(m, nn.Conv2d): torch.nn.init.xavier_normal_(m.weight.data) if m.bias is not No.
定义loss_show类and 权重初始化init_weight_pytorch
weixin_44576543的博客
11-22 1476
1.define the class :losshistory import os import numpy as np import scipy.signal from matplotlib import pyplot as plt class LossHistory(): def __init__(self, log_dir): import datetime curr_time = datetime.datetime.now() time_
pytorch中指定或者冻结一层网络的权值（weight)
RuGe_Lee的博客
03-12 5457
在实际开发中，我们有时需要指定一层神经网络的参数或者冻结他们。在torch中，我们都可以轻易实现。本文以简单的cnn为例，详细讲述了指定一层网络的权值和冻结一层网络的权值的方法。
【Pytorch】.weight文件转为.pt文件
qq_38253797的博客
06-24 3901
convert.py import torch from models.models import Darknet, load_darknet_weights device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") cfg = 'cfg/yolov4.cfg' weights = 'weights/yolov4.weights' model = Darknet(cfg).to(device) load_darknet
pytorch 中网络参数 weight bias 初始化方法
热门推荐
Ibelievesunshine的博客
08-13 1万+
权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。 在pytorch的使用过程中有几种权重初始化的方法供大家参考。 注意：第一种方法不推荐。尽量使用后两种方法。 # not recommend def weights_init(m): classname = m.__class__.__name__ if classname.find('C...
paddle weight_init参数初始化
我的博客
05-11 1336
在用paddle复现时，遇到weight_init参数初始化的问题
pytorch学习笔记——3.5Pytorch中网络参数的初始化方法
weixin_52067875的博客
08-03 4896
对于搭建的网络，一般情况下我们使用默认的参数初始化就可以获得比较稳定的结果，但我们如果了解常用的参数初始化方法并加以使用，在某些情况下可以提高模型的精度。
如何安装weights_init_kaiming这个库呢
05-19
`weights_init_kaiming` 库是 PyTorch 中的一个初始化权重的函数库，通过该库可以使用 Kaiming He 等人提出的初始化权重的方法对神经网络的权重进行初始化。你可以按照以下步骤安装： 1. 确保已经安装 PyTorch，可以通过以下命令检查 PyTorch 的版本： ``` import torch print(torch.__version__) ``` 2. 打开终端，输入以下命令安装 `weights_init_kaiming`： ``` pip install weights_init_kaiming ``` 3. 安装完成后，在 Python 中导入 `weights_init_kaiming` 库并使用其中的初始化函数即可。例如： ``` import weights_init_kaiming import torch.nn as nn class MyNet(nn.Module): def __init__(self): super(MyNet, self).__init__() self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1) weights_init_kaiming.init_weights(self.conv1) def forward(self, x): x = self.conv1(x) return x ``` 在上述代码中，我们通过 `weights_init_kaiming.init_weights` 函数对 `self.conv1` 的权重进行了初始化。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值