Pytorch nn.init 参数初始化方法

最新推荐文章于 2024-01-03 10:33:01 发布

转载最新推荐文章于 2024-01-03 10:33:01 发布 · 688 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/weixin_42018112/article/details/90725819

博客围绕Pytorch中nn.init的参数初始化方法展开，虽未给出具体内容，但可知聚焦于Pytorch这一深度学习框架在参数初始化方面的技术，对深度学习模型训练有重要意义。

部署运行你感兴趣的模型镜像

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_ry5219775

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解

iioSnail的博客

07-28

9万+

1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。

系统学习Pytorch笔记六：模型的权值初始化与损失函数介绍

Miracle8070

04-24

5053

Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...

参与评论您还未登录，请先登录后发表或查看评论

初始化可学习参数 nn.Parameter()

weixin_44133371的博客

01-03

1067

4.nn.Parameter(torch.full(size= size, fill_value = x))，初始化参数都为x。1.nn.Parameter(torch.randn(size)) ，这些随机数字满足标准正态分布(0~1)2.nn.Parameter(torch.zero(size))，初始化参数都为0。3.nn.Parameter(torch.ones(size))，初始化参数都为1。注：其中size为你所要设置的可学习参数矩阵大小。

nn.Parameter和torch.nn.init系列函数给模型参数初始化

xx_xjm的博客

06-26

484

笔记

[nn.Parameter]理解总结与初始化方法大全

panbaoran913的博客

05-31

1万+

文章目录一、查看性质二、参数是否初始化的区别三、参数初始化的方法1. 均匀分布2. 正太分布3. 常数分布4. 全1分布5. 全0分布6.单位分布:question:7. xavier_uniform 分布8. xavier_normal 分布9. kaiming_uniform 分布10. kaiming_normal 分布11、正交矩阵12、稀疏矩阵13. 函数初始化14、遍历初始化 Parameter实际上也是Tensor，也就是说是一个多维矩阵，是Variable类中的一个特殊类。当我们创建一个m

Python的torch.nn.Parameter初始化方法

昊大侠的博客

09-10

9735

涉及以下内容参数的初始化，1…13种方式举例，一层网络单独初始化和一个模型遍历初始化 实践 import math import numpy as np import torch import torch.nn as nn # 参数的初始化 w = torch.nn.Parameter(torch.empty(2, 3)) # 1. 均匀分布 - u(a, b) # torch.nn.init.uniform_(tensor, a=0, b=1) nn.init.uniform_(w) # te

Pytorch nn.Parameter() (register_parameter)

hxxjxw的博客

08-10

3万+

nn.Parameter可以这样用

pytorch系列 -- 9 pytorch nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization

墨流觞的博客

11-11

6万+

本文内容： 1. Xavier 初始化 2. nn.init 中各种初始化函数 3. He 初始化 torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init 1. 均匀分布 torch.nn.init.uniform_(tensor, a=0, b=1) 服从~U(a,b)U(a, b)U(a,b) 2. 正太分布 tor...

Pytorch网络参数初始化方法总结torch.nn.init

神仙院B栋4楼保安的博客

12-09

2989

Pytorch网络参数初始化方法总结均匀分布初始化torch.nn.init.uniform_()正态分布初始化torch.nn.init.normal_()常量初始化torch.nn.init.constant_()Xavier初始化Xavier均匀分布初始化torch.nn.init.xavier_uniform_()Xavier正态分布初始化torch.nn.init.xavier_normal_()kaiming初始化kaiming均匀分布初始化torch.nn.init.kaiming_unifo

【torch.nn.init】初始化参数方法解读

纽约恋情的博客

04-27

4935

稀疏矩阵：将2D输入张量填充为稀疏矩阵，其中非零元素将从正态分布N ( 0 , 0.01 ) N(0,0.01)N(0,0.01)中提取。正态分布：从给定均值和标准差的正态分布N(mean, std)中生成值，填充输入的张量或变量。xavier_normal 分布：用一个正态分布生成值，填充输入的张量或变量。kaiming_normal 分布：用一个正态分布生成值，填充输入的张量或变量。均匀分布：从均匀分布N(a,b)中生成值，填充输入的张量或变量。正交矩阵：用一个(半)正交矩阵填充输入张量。

【pytorch 】nn.init 中实现的初始化函数 normal, Xavier==》为了保证数据的分布（均值方差一致）是一样的，类似BN

源仔

02-02

1万+

为什么要输入和输出的方差相同？有利于信息的传递、、为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。在考虑线性激活函数的情况下, 在初始化的时候使各层神经元的方差保持不变, 即使各层有着相同的分布. 如果每层都用N(0, 0.01)随机初始化的话, 各层的数据分布不一致, 随着层度的增加, 神经元将集中在很大的值或很小的值, 不利于传递信息. 很多初始化策略都是为了保持每层的分布不变, 而BN是通过增加归一化层使得每层数据分布保持在N(0, 1) xavier的初始化方式和BN一样，为了保证数据

Pytorch之深入理解torch.nn.Parameter()

qq_43391414的博客

09-26

2万+

先看一段代码： import torch import torch.nn as nn a=torch.tensor([1,2],dtype=torch.float32) print(a) print(nn.Parameter(a)) print(nn.parameter.Parameter(a)) 结论： nn.Parameter=nn.parameter.Parameter parameter本质仍然是一个tensor。 nn.Parameter的作用是：将一个不可训练的类型Tensor转换成可以训

PyTorch中的torch.nn.Parameter() 详解

热门推荐

weixin_44966641的博客

07-14

8万+

PyTorch中的torch.nn.Parameter() 详解今天来聊一下PyTorch中的torch.nn.Parameter()这个函数，笔者第一次见的时候也是大概能理解函数的用途，但是具体实现原理细节也是云里雾里，在参考了几篇博文，做过几个实验之后算是清晰了，本文在记录的同时希望给后来人一个参考，欢迎留言讨论。分析先看其名，parameter，中文意为参数。我们知道，使用PyTorch训练神经网络时，本质上就是训练一个函数，这个函数输入一个数据（如CV中输入一张图像），输出一个预测（如输出这张

Pytorch 中torch.nn.Linear的权重初始化

D_handsome的博客

01-27

2万+

最近学习李沐老师pytorch课程，在software回归一节中模型建立首先进行初始化参数（权重……），课程代码如下： net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10)) #nn.Flatten将多维张量压缩为二维（一行）进而进行线性操作、 def init_weights(m): if type(m) == nn.Linear: nn.init.normal_(m.weight, std=0.01) net.app

pytorch初始化参数方法

m0_58313777的博客

08-19

2434

pytorch初始化参数方法来源动手学深度学习

神经网络与深度学习第一周学习

m0_73567196的博客

03-22

257

在有监督的模型中，即所有的训练数据均已被标注好，也就是已知训练数据的真实属性，通过神经网络对训练数据进行前向推理，得到一个训练数据的推理结果，然后如果神经网络的训练不足，极大可能就会将数据推理错误，那么训练数据的推理结果与真实结果之间就会存在差异，这个差异通常使用损失Loss来表示。线性回归基于几个简单的假设：首先，假设自变量x和因变量y之间的关系是线性的，即y可以表示为x中元素的加权和，这里通常允许包含观测值的一些噪声。这个过程就是前向传播，也是我们训练神经网络的目的，即实现神经网络对输入数据的推理。

Pytorch学习笔记--常用函数nn.init.normal()、nn.init.constant_()、torch.from_numpy()、torch.index_select()总结4

牵一只蜗牛去散步

12-02

3493

torch.from_numpy(numpy_array)基于输入numpy数组（numpy_array）返回一个tensor张量（数据不变，类型转换），作用是转换numpy_array -> tensor。torch.nn.init.constant_(tensor, val)基于输入参数（val）初始化输入张量tensor，即tensor的值均初始化为val。torch.nn.init.normal(tensor, mean, std)基于输入参数（均值mean和标准差std）输入张量tensor；

Pytorch深度学习笔记④：Softmax回归的简洁实现

qq_53635921的博客

12-08

1567

本文是《动手学深度学习课程》中Softmax回归简洁实现的笔记，仅用于个人学习记录。 Softmax回归的简洁实现：首先导入需要使用的包，并设置好batch-size，以及得出训练集和测试集 import torch from torch import nn from d2l import torch as d2l batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size) 接着可以定义模型，

[pytorch]手动构建一个神经网络并且训练

weixin_62697030的博客

11-05

1493

一点简单的小小总结：1.首先是关于net：net可以接受小批量，甚至是一个完整那个的数据list的输入的，也就是说我们传入的小批量其实是[256,1,28,28]然后我们最终的输出结果为[256,1],虽然这不是我们要的东西其实net本质就是一个张量处理机，’压缩‘成需要的格式张量处理机：一开是的猜测是会根据批量逐一处理那些张量，但是事实是net本身并不会对其进行太多的区分传入进来的仍然是一个整体张良，需要在net中自己操作dim得到需要的结果以及形式。

torch.nn.Linear 参数初始化