Pytorch近期学习笔记

原创

于 2022-04-23 12:10:43 发布 · 2.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #算法 #计算机视觉 #深度学习 #神经网络

本文介绍了PyTorch中的torch.randperm()、torch.from_numpy()、torch.Tensor()、torch.tensor()以及GPU运行检查。重点讨论了torch.optim优化器的使用，如Adam、SGD，并详细解析了如何利用torch.optim.lr_scheduler调整学习率，包括ReduceLROnPlateau和ExponentialLR。还阐述了optimizer.zero_grad(), loss.backward(), optimizer.step()和scheduler.step()在训练过程中的作用，以及如何将张量转换为numpy数组。" 83834011,7488515,Vue组件创建与编辑指南,"['Vue', '前端开发', '组件', '数据管理', '方法']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

torch.randperm(n)
torch.from_numpy()
torch.Tensor()
torch.tensor()
torch.cuda.is_available()
torch.optim 优化器
torch.optim.lr_scheduler调整学习率
- torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer)
- torch.optim.lr_scheduler.ExponentialLR(optimizer,gamma=0.999)
optimizer.zero_grad()，loss.backward()，optimizer.step()，schedular.step()
.detach().cpu().numpy()
参考

# 导入模块: 
import torch

torch.randperm(n)

将0~n-1（包括0和n-1）随机打乱后获得的数字序列，函数名是random permutation缩写

torch.randperm(10)
===> tensor([2, 3, 6, 7, 8, 9, 1, 5, 0, 4])

torch.from_numpy()

把数组转换成张量，且二者共享内存，对张量进行修改比如重新赋值，那么原始数组也会相应发生改变。

>>> a = numpy.array([1, 2, 3])
>>> t = torch.from_numpy(a)
>>> t
tensor([ 1, 2, 3])
>>> t[

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

巫巫9

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

pytorch中的多种scheduler

y1040468929的博客

12-06

1649

pytorch中的多种scheduler LambdaLR 公式 lrepoch=lrinitial∗Lambda(epoch) lr_{epoch}=lr_{initial}∗Lambda(epoch) lrepoch=lrinitial∗Lambda(epoch) 代码 import torch import matplotlib.pyplot as plt model = torch.nn.Linear(2, 1) optimizer = torch.optim.SGD(model.

Pytorch笔记

LanderXX的博客

03-27

658

Pytorch Notebook 由于使用emacs-org编辑，为方便暂且使用了英文

参与评论您还未登录，请先登录后发表或查看评论

.detach().cpu().numpy()该段代码的作用

m0_46434334的博客

08-23

8827

detach(): 返回一个新的Tensor，但返回的结果是没有梯度的。 cpu():把gpu上的数据转到cpu上。 numpy():将tensor格式转为numpy。如图所示： out = logits.detach().cpu().numpy()

工作中pytorch常用函数汇总

learning5201的博客

09-02

790

** 工作中pytorch常用函数汇总 ** 声明：该文章的内容来自于网络的归纳总结，不断更新中，欢迎收藏，点赞评论，以及提供更多工作常用的函数。 1.torch.backends.cudnn.benchmark 一般将torch.backends.cudnn.benchmark设为True就可以大大提升卷积神经网络的运行速度。原因：将会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法，进而实现网络的加速。这行代码要加在哪里其实一般加在开头就好，比如在设置使用 GPU 的

pytorch .detach().cpu().numpy()

每日提升一点点

03-31

4353

B站刘二大人Pytorch课程学习笔记及课后作业

09-09

《PyTorch实战课程学习笔记与理解》 PyTorch是现代深度学习研究与实践的重要工具，它以其灵活和易用性受到了广泛欢迎。本文基于B站刘二大人PyTorch实践课程的学习笔记，深入探讨了PyTorch的核心概念、模型构建以及...

pytorch基础学习笔记

最新发布

03-13

### PyTorch基础学习笔记 #### 一、PyTorch简介及安装 ##### 1.1 PyTorch简介 PyTorch是由Facebook的人工智能研究实验室（FAIR）开发的一款开源机器学习库，专为利用GPU加速张量计算和深度学习而设计。PyTorch的...

动手学深度学习Pytorch版本学习笔记 Task4

01-06

pytorch学习笔记（一）

01-06

此为小弟pytorch的学习笔记，希望自己可以坚持下去。（2020/2/17） pytorch官方文档 pytorch中文教程 tensor tensor是pytorch的最基本数据类型，相当于numpy中的ndarray，并且属性和numpy相似，tensor可在GPU上进行...

pytorch

T5A_318的博客

05-14

384

1.Pytorch查看网络结构 from torchsummary import summary device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = models.resnet18().to(device) summary(model, (3,256,256)) 注意：以上三种方法在处理输出为tuple时（如：LSTM），会有BUG pytorch 踩坑之'tuple' object ha

Pytorch学习笔记（1）检查torch、cuda，张量的创建

qq_47997583的博客

04-20

2618

lesson1 检查torch、cuda import torch # 打印torch版本 print("Hello World, Hello PyTorch {}".format(torch.__version__)) # 打印cuda是否可用，打印cuda版本 print("\nCUDA is available:{}, version is {}".format(torch.cuda.is_available(), torch.version.cuda)) # 打印cuda名称 print("\nde

yolov5 的检测结果存为LabelMe的格式

Guo_Python的博客

03-02

1917

当我们在进行标注数据时，想想有没有开源的模型对数据进行预处理从而减小标注人员的工作量。本文会用yolov5的开源模型对行人进行检测，检测结果存为Labelme的格式，从而减小标注人员的工作量。

pytorch学习笔记(1)-optimizer.step()和scheduler.step()

Gussss的博客

10-18

2979

转https://blog.youkuaiyun.com/qq_20622615/article/details/83150963 optimizer.step()和scheduler.step()的区别 optimizer.step()通常用在每个mini-batch之中，而scheduler.step()通常用在epoch里面,但是不绝对，可以根据具体的需求来做。只有用了optimizer.step()，模型才会更新，而scheduler.step()是对lr进行调整。通常我们有 optimizer = o

记录一下Pytorch中scheduler的使用

weixin_43679674的博客

02-08

8346

scheduler主要是为了在训练中以不同的测略来调整学习率，当然如果不涉及到学习率大小的变化也就用不到该函数了。下面分别为不同的变化测略及相应的代码实例： 1，指数衰减：在训练的过程中，学习率以设定的gamma参数进行指数的衰减。 optimizer = torch.optim.SGD(net.parameters(), lr = 0.001) expr_scheduler = torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma = 0...

pytorch学习笔记——loss.backward()、optimizer.step()、scheduler.step()

phily123的博客

03-03

2480

loss.backward()进行反向传播求出梯度 optimizer进行参数管理与更新，所以optimizer放在backward后面用求出的梯度进行参数更行，记住step之前要进行optimizer.zero_grad()，否则用的梯度包含上一个batch的，相当于batch_size为之前的两倍，所以optimizer.step()是用在batch里的 scheduler.step()是用来更新学习率的，所以用在epoch里参考资料： Pytorch optimizer.step() 和loss.b

pytorch-bert 调用预训练模型或自训模型进行预测（可批量）

王小二的博客

12-23

7223

#载入训练好的模型 import numpy as np import torch from transformers import BertTokenizer, BertConfig, BertForSequenceClassification #加载训练好的模型 model_name = 'bert-base-cased' MODEL_PATH = '你的模型路径' # tokenizer.encode_plus返回多句子在字典中的id，tokenizer.tokenize返回token # [C

Pytorch的backward()相关理解

jacke121的专栏

10-10

1万+

Pytorch的backward()相关理解版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/douhaoexia/article/details/78821428 最近一直在用pytorch做GAN相关的实验，pytorch 框架灵活易用，很适合学术界开展研究工作。这两天遇到了一些模型参数寻优的问题，才发现自己对pytorch的自动求导和...

pytorch自定义数据集

chainfitness的博客

07-17

605

#dataset类实现自定义数据集自定义数据集继承于dataset类实现**getitem**方法(否则会报没实现错误) 实现**len**方法(否则会报没实现错误) #dataloader方法此方法将数据集打包成指定batchsize（使用默认方法打包）默认打包成元组的形式若要实现自定打包方法可以自己实现collate_fn方法并传入dataloader ...

pytorch中调整学习率: torch.optim.lr_scheduler