pytorch学习笔记(Tensor,Variable,nn.Module,optim)

最新推荐文章于 2025-10-15 11:27:53 发布
原创 最新推荐文章于 2025-10-15 11:27:53 发布 · 3.9k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了PyTorch中的核心概念，包括Tensor的创建与操作，Variable的自动求导功能，nn.Module用于构建神经网络模块，以及torch.optim中的优化算法。此外，还讲解了模型的保存和加载方法。

Tensor(张量)

torch.Tensor 默认的是 torch.FloatTensor 数据类型,也可以定义我们自己想要的数据类型

当然也可以创建一个全是0的空的Tensor或者取一个正态分布作为随机初始值

可以像numpy一样通过索引的方式取得其中的元素,同时改变它的值

除此之外可以在Tensor和numpy.ndarray之间相互转换:

判断是否支持GPU,如果想把tensor放到GPU上,只要 a_cuda = a.cuda()

Variable(变量)

Variable是神经网络计算图里特有的一个概念,它提供了自动求导的功能.神经网络在做运算的时候首先构造一个计算图谱,然后在里面进行前向传播和反向传播.

Variable和Tensor本质上并没有什么区别,variable会被放入一个计算图中.Variable在torch.autograd.Variable中,要将一个tensor转为Varible十分简单,只需Variable(a).

结构图
最低0.47元/天 解锁文章
Pytorch学习笔记（五）
LJR的博客
01-21 1032
Sequential Module children add_modules grad_zero named_children ModuleList children named_children modules named_modules zero_grad parameters named_parameters state_dict load_state_dict 参数注册 ParameterDict update clear items keys pop values
Pytorch学习笔记总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
11-10 8665
PyTorch学习笔记整理，内容参考多个多个优秀Pytorch学习资源，适合深度学习pytorch学习者学习。(开篇词)PyTorch 学习笔记 - PyTorch 学习笔记；动手学CV-Pytorch:动手学CV-Pytorch；Pytorch 中文文档：主页 - PyTorch中文文档；Pytorch Tutorials...
Pytorch学习笔记（一）Tensor（张量） + Variable（变量）+nn.Module（模组）
weixin_43760195的博客
09-23 1570
学习pytorch（一） 看的是廖星宇老师编著的《深度学习入门》 1.什么是pytorch PyTorch 是Torch7 团队开发的，从它的名字就可以看出，其与Torch 的不同之处在于PyTorch 使用了Python 作为开发语言。所谓"Python first" ，同样说明它是一个以Python 优先的深度学习框架，不仅能够实现强大的GPU 加速，同时还支持功态神经网络。 PyTorch 既可以看做加入了GPU 支持的numpy ，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。 2.pyt
PyTorch Variable与Tensor 【详解】
qq_39809262的博客
05-19 4304
Variable 与 Tensor tensor 是 PyTorch 中的完美组件,高效的数据格式，但是构建神经网络还远远不够，我们需要能够构建计算图的 tensor，这就是 Variable。Variable 是对 tensor 的封装，操作和 tensor 是一样的，但是每个 Variabel都有三个属性，Variable 中的 tensor本身.data，对应 tensor 的梯度.grad以及这个 Variable 是通过什么方式得到的.grad_fn，是由什么函数得到的张量，如果是自己创建的，则维
AI PyTorch框架基础学习路线和思维导图
最新发布
qq_42746084的博客
10-15 815
下面我会给你一个 **系统化的 PyTorch 知识全景图（从基础到内核原理）**，分为八大模块，每个模块包含核心知识点 + 理解重点 + 建议学习顺序。 你掌握这套体系，就能真正理解 PyTorch 的底层逻辑和执行原理。
pytorch的Variable和Parameters的联系和区别
PETERPARKERRR的博客
12-14 3944
文章目录前言一、Variable二、Parameter总结 前言 首先看一下官方文档： 一、Variable torch.autograd.Variable Variable是对Tensor的封装，操作与tensor基本一致，不同的是，每一个Variable被构建的时候，都包含三个属性： 1、data:Variable中所包含的tensor 2、grad:tensor的梯度 .grad 3、以何种方式得到这种梯度 .grad_fn 之所以有Variable这个数据结构，是为了引入计算图（自动求导），方便
PyTorch之tensor和variable
WeiXy的博客
06-19 2216
输入代码 x = variable(tensor.ones(2,2),requires_grad = Ture) y = x.sum() print(x) print(y) 产生错误 UserWarning: torch.autograd.variable(...) is deprecated, use torch.tensor(...) instead warnings.warn("to...
PyTorch Tips (三):nn.Module
Tsehooo的博客
08-08 618
因为使用autograd可实现深度学习模型，但其抽象程度较低，如果用其来实现深度学习模型，则需要编写的代码量极大。在这种情况下，torch.nn应运而生，其是专门为深度学习设计的模块。torch.nn和核心数据结构是Module，它是一个抽象的概念，既可以表示神经网络中的某个层（layer）,也可以表示一个包含很多层的神经网络。在实际使用中，最常见的做法是继承nn.Module，撰写自己的网络层。下面来先看看如何用nn.Module实现自己的全连接层。全连接层，又名仿射层，输出y和输入x满足y=Wx + b
Pytorch学习笔记（二）torch.optim（优化）+线性模型实例
weixin_43760195的博客
09-23 1367
1.torch.optim 在机器学习或者深度学习中，我们需要通过修改参数使得损失的数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。 1.1一阶优化算法 使用参数的梯度值来更新参数，最常用的是梯度下降。梯度是导数的多变量表达式，函数的梯度形成了向量场，同时也是一个方向，这个方向导数最大，等于梯度。 梯度下降的功能是寻找最小值，控制方差，更新模型参数最终使模型收敛，网络的参数更新公式是： 1.2.二阶优化算法 二阶优化算法使用了二阶导数(Hessian)最小化或最大化损失函数。计算成本高 我
PyTorch学习笔记-1.PyTorch基础概念
ruoqi23的博客
08-02 1096
1.PyTorch基础概念 1.1.PyTorch简介与安装 1.1.1.PyTorch简介 2017年1月，FAIR（Facebook AI Research）发布PyTorch PyTorch是在Torch基础上用python语言重新打造的一款深度学习框架 Torch是采用Lua语言为接口的机器学习框架，但因Lua语言较为小众，导致Torch知名度不高 PyTorch发展 • 2017年1月正式发布PyTorch • 2018年4月更新0.4.0版，支持W indows系统，ca..
pytorch入门一（Tensor、Variable）
朴素.无恙的博客
10-22 1182
pytorch入门篇
pytorch中Variable和Tensor的区别
qq_39889944的博客
01-31 661
本文简要介绍了Variable和Tensor的区别。对Variable中的常用接口和使用方法进行了介绍并附上代码。
PyTorch 笔记（18）— torch.optim 优化器的使用
wohu1104的专栏
08-05 6130
到目前为止，代码中的神经网络权重的参数优化和更新还没有实现自动化，并且目前使用的优化方法都有固定的学习速率，所以优化函数相对简单，如果我们自己实现一些高级的参数优化算法，则优化函数部分的代码会变得较为复杂。 在 PyTorch 的 torch.optim 包中提供了非常多的可实现参数自动优化的类，比如 SGD 、AdaGrad 、 RMSProp 、Adam 等，这些类都可以被直接调用，使用起来也非常方便。我们使用自动化的优化函数实现方法对之前的代码进行替换，新的代码如下： import torch as
PyTorch学习——关于tensor、Variable、nn.Parameter（）、叶子节点、非叶子节点、detach()函数、查看网络层参数
Chaoy6565的博客
04-17 1128
学习小计。
Pytorch 中的 Tensor , Variable和Parameter区别与联系
u014244487的专栏
02-18 1万+
前面的博客简单讲了Variable和Parameter的区别，这次加入tenor，详细的分析三者的区别和联系。文中参考了Pytorch 中的 Tensor , Variable & Parameter 1.Tensor pytorch中的Tensor类似于numpy中的array，而不直接用tensor的原因，是因为tensor能够更方便地在GPU上进行运算。pytorc...
【细聊】Pytorch 里面的 Tensor/Parameter/Variable/Buffer
绿色羽毛
08-14 1940
Parameters(参数) 是 Tensor 的Variable的一种，常被用于模块参数(module parameter)。Parameters(参数) 是 Variable 的子类。Paramenters和Modules一起使用的时候会有一些特殊的属性，即：当Paramenters赋值给Module的属性的时候，他会自动的被加到 Module的 参数列表中(即：会出现在 parameters() 迭代器中)。将Varibale赋值给Module属性则不会有这样的影响。
Pytorch的Variable详解
热门推荐
Mr_zhuo_的博客
08-20 5万+
pytorch两个基本对象：Tensor（张量）和Variable（变量） 其中，tensor不能反向传播，variable可以反向传播。 tensor的算术运算和选取操作与numpy一样，一次你numpy相似的运算操作都可以迁移过来。 Variable variable是一种可以不断变化的变量，符合反向传播，参数更新的属性。pytorch的variable是一个存放会变化值的地理位置，里面的值会不停变化，像装糖果（糖果就是数据，即tensor）的盒子，糖果的数量不断变化。pytorch都是由.
pytorch入门 Variable 用法
CSPhD-winston的博客
02-10 1892
pytorch Variable用法前述 前述 如果用numpy或者Tensor来实现神经网络，需要手动写出前向过程和反向过程。 对于简单的网络，反向过程中的导数容易求得，但是随着网络深度以及网络复杂度的增加，求出梯度的解析表达式是非常困难的。 PyTorch的包autograd提供了自动求导的功能，当使用autograd时，定义前向网络会生成 一个计算图，每个节点是一个Tensor，边表示由输入...
代码小结（4.11）
jinghui_7的博客
04-11 255
1.torch.nn.Variable() 其中不仅包含了data，还包含了grad,grad_fn. 关于Variable 2.model.train()和model.eval() model.train()训练时启用Batch Normalization和Dropout。 model.eval()在验证集和测试集上不启用Batch Normalization和Dropout。 model.train()和model.eval() 3.torch.optim.Adam() torch..
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值