pytorch数据读取：提数据速度的设置+使用transfer后用torch.tensor转tensor报错

原创 已于 2022-01-27 23:56:41 修改 · 319 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #python

于 2021-09-21 15:37:46 首次发布
本文介绍了使用PyTorch进行高效训练的一些实用技巧，包括如何利用Dataloader的pin_memory选项加速数据加载，采用非阻塞方式转移数据到GPU，以及使用torchvision库中的transform进行图像预处理，并探讨了checkpoint技术在节省内存方面的应用。
部署运行你感兴趣的模型镜像

数据加载方法

DataLoader参数pin_memory

Dataloader的pin_memory设置为True可以将Tensor放入到内存的锁页区，加快训练速度。

非阻塞（Non-Blocking）

target = target.cuda(non_blocking=True)

知乎：Pytorch有什么节省显存的小技巧？

torchvision-transform

https://pytorch-cn.readthedocs.io/zh/latest/torchvision/torchvision-transform/

def transf(img):
    trans1 = transforms.Resize((640*3, 360*3))
    trans2 = transforms.ToTensor()
    img1 = trans1(img)
    return trans2(img1)

pytorch 的 checkpoint 是一个可以用时间换空间的技术,用来节省内存

from torch.utils.checkpoint import checkpoint

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

tensor是pytorch的核心，那torch.tensor和torch.Tensor区别是？
huanfeng_AI的博客
04-20 988
从本节课程开始我们将正式开启pytorch的学习了，在深度学习框架中有一个重要的概念叫做张量，它是pytorch的基本操作单位，要想创建tensor有很多的方式，但是有两个torch.tensor和torch.Tensor容易混淆，本节课程对二者进行总结。
Pytorch实用教程： torch.tensor()的用法
若北辰
04-01 1210
在PyTorch中，函数是用来创建张量（Tensor）的一个非常基础和重要的函数。张量是PyTorch中的基本数据结构，用于存储和操作数据，可以看作是一个高维数组。函数可以从数据创建新的张量，数据可以是一个列表、数组或者已有的张量等。当你使用时，你是在将y_train（可能是一个Python列表、一个NumPy数组或者其他形式的序列数据）转换为一个PyTorch张量。这样做的目的通常是为了能够将数据用于PyTorch的计算图中，例如，进行模型训练、应用梯度下降等深度学习操作。
关于使用torch.Tensor将列表转为tensor时报错的问题
学习日常
01-28 3713
因为我在读取数据，并导入神经网络的过程中，需要将列表 datalist = [ ] 转换为 tensor 张量。 因此我百度了很多，常见的就是： datalist = [1, 2, 3, 4] datatensor = torch.Tensor(datalist) print(datatensor) 但是这个时候报错了 于是我将代码修改如下： datalist = [1, 2, 3, 4] datatensor = torch.tensor(datalist) print(datatensor
pytorch之tensor操作报错汇总
weixin_45700507的博客
12-22 3466
torch.split() t = torch.ones((2,5)) list_of_tensors = torch.split(t,[2,1,1],dim=1) print("t:{}".format(t)) for idx,t in enumerate(list_of_tensors): print("di {} ge tensor:{},shape is {}".format(idx+1,t,t.shape)) RuntimeError: s.
4.初识Pytorch之Tensorboard与Transforms搭配使用
对方正在输入中...
12-26 593
这章是结合之前学习的Tensforboard与Transforms的一个练习。 直接上代码： from PIL import Image from torch.utils.tensorboard import SummaryWriter from torchvision import transforms import os root_path = "D:\\data\\basic\\Image" lable_path = "aligned" img_dir = os.path.join(root_pat
利用pytorch实现迁移学习(Transfer Learning)
老潘的博客
11-26 1万+
迁移学习 迁移学习是深度学习中一种常用的方法，核心思想为利用一个已经在其他训练集训练好的模型的材料（权重值或者特征层）来对目标训练集进行训练。 利用另一个训练集训练好的模型，我们可以： 提取其训练好的特征层（fixed feature extractor），去除其最后的分类层（全连接层）。注意，去除最后一层后保留的最后一层中是激活层，举个例子，在AlexNet中此层的维数为4096，这一层是非常
PyTorch官方教程(四)-Transfer_Learning_Tutorial
ZeroZone零域的博客
11-09 1287
通常情况下, 我们不会从头训练整个神经网络, 更常用的做法是先让模型在一个非常大的数据集上进行预训练, 然后将预训练模型的权重作为当前任务的初始化参数, 或者作为固定的特征提取器来使用. 既通常我们需要面对的是下面两种情形: Finetuning the convnet: 在一个已经训练好的模型上面进行二次训练 ConvNet as fixed feature extractor: 此时, 我们...
PyTorch中torch.tensor与torch.Tensor的区别详解
09-16
在PyTorch中，`torch.tensor` 和 `torch.Tensor` 是两种不同的创建张量（Tensor）的方法，但它们之间的差异并不显著，主要是使用场景和默认属性上的细微差别。这篇文章将详细解析这两者之间的区别。 首先，`torch....
深入探索 PyTorch：torch.nn.Parameter 与 torch.Tensor 的奥秘
最新发布
2401_85742452的博客
08-19 1032
PyTorch 是一个基于Torch库的开源机器学习库，广泛用于计算机视觉和自然语言处理领域的研究和生产。它提供了强大的GPU加速的张量计算能力，以及构建深度学习模型的动态计算图。通过本文的深入分析，我们了解到和在 PyTorch 中扮演着不同的角色。Parameter用于定义模型的参数，而Tensor用于一般的数值计算。理解它们之间的区别对于构建和训练深度学习模型至关重要。
【PyTorch】windows环境下pytorch实现transfer learning
安静
05-29 1184
运行环境： pytorch 1.1.0 torchvision 0.2.2 cuda 9.0 cudnn v7.5 介绍 本案例中，你可以学习如何使用迁移学习来训练自己的网络，本博客参考pytorch官网（pytorch.org）中的官方教程，并进行了独立的实现与代码的梳理。 ...
pytorch减少显存占用和加速（checkpoint(会慢),apex(会块)）
凡士林的博客
07-01 1253
1、pytorch 的 checkpoint 是一个可以用时间换空间的技术，很多情况下可以轻松实现 batch_size 翻倍的效果. 快速使用链接： https://blog.csdn.net/ONE_SIX_MIX/article/details/89639334 2、apex 混合精度训练 快速使用链接： https://zhuanlan.zhihu.com/p/79887894 ...
PyTorch读取数据集全部进内存，使网络的训练速度提高10倍以上！！！
u014723479的博客
05-13 3664
这速度差的真的不是一点半点的。这速度差的真的不是一点半点的。将数据读入到内存中再运行。将数据读入到内存中再运行。
Pytorch常见报错、踩坑点总结（持续更新）
weixin_45719141的博客
07-30 1万+
在利用PyTorch进行深度学习的路上踩坑点实在是太多了，因此打算总结一些，以便日后查阅使用。 一、transforms.ToTensor() 在运行下面一段程序的时候，发现报错提醒： D:\Anaconda3\envs\py36\lib\site-packages\torchvision\datasets\mnist.py:498: UserWarning: The given NumPy array is not writeable, and PyTorch does not support non-w
解决pytorch明明已经安装好了但是import时报错ModuleNotFoundError: No module named ‘torch‘
热门推荐
tongjingqi_的博客
09-24 7万+
建项目路径有问题
利用TensorRT实现神经网络提速(读取ONNX模型并运行)
老潘的博客
01-23 2万+
关于本文章的最新更新请查看:oldpan博客 前言 这篇文章接着上一篇继续讲解如何具体使用TensorRT。 在之前已经写到过一篇去介绍什么是TensorRT：利用TensorRT对深度学习进行加速，这篇文章中大概已经基本讨论了TensorRT究竟是个什么东西以及怎么使用它。 而在这篇文章中我们主要介绍如何使用它在我们的实际任务中进行加速。 在我这里的实验结论表明，在FP32的精度下，使用Tens...
pytorch读取自己的数据集_给训练踩踩油门 —— Pytorch 加速数据读取
weixin_39870155的博客
11-21 1434
需求最近在训练 coco 数据集，训练集就有 11 万张，训练一个 epoch 就要将近 100 分钟，训练 100 个 epoch，就需要 7 天！这实在是太慢了。经过观察，发现训练时 GPU 利用率不是很稳定，每训练 5 秒，利用率都要从 100% 掉到 0% 一两秒，初步判断是数据读取那块出现了瓶颈。于是经过调研和实验，制定了下列解决方案。解决方案（1）prefetch_generator使...
使用 PyTorch 进行 风格迁移（Neural-Transfer）
小白学视觉
09-30 2739
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达1.简介本教程主要讲解如何实现由 Leon A. Gatys，Alexander S. Ecker和Matthias Bethge提出的Neural-Style算法。Neural-Style 或者叫 Neural-Transfer，可以让你使用一种新的风格将指定的图片进行重构。这个算法使用三张图片，一张输入图片，一张内容图片和...
pytorch---进阶篇（函数使用技巧/注意事项）
hei_hei_hei_的博客
07-25 2843
pytorch---进阶篇（函数使用技巧/注意事项）
Pytorch的tensor数据类型 -- 常见用法介绍：
qq_41764621的博客
09-15 2261
【注意】使用该方法创建Tensor时，系统不会马上分配空间，只是会计算剩余的内存是否足够使用，使用到Tensor时才会分配。而其它操作都是在创建完Tensor之后马上进行空间分配。我不知道上述这个tensor分配内存空间的这种方式的意义是啥？推荐使用：torch.tensor()来建立tensor数据，没写完：然后把上述的代码换成torch.tensor()是PyTorch中重要的数据结构，可认为是一个高维数组。【把人家博客的内容再自己复述一遍写在这thx】随机创建指定形状的Tensor。
PyTorch Tensor详解：数据类型与运算操作
"本文详细介绍了PyTorch中Tensor的数据类型及其运算方法，包括各种类型的Tensor创建方式和常用的数学运算。" 在PyTorch中，Tensor是核心数据结构，它支持多种数据类型，允许开发者灵活处理不同类型的数据。对于初学...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值