【Pytorch】4.torchvision.datasets的使用

原创 已于 2024-05-07 13:15:12 修改 · 598 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

于 2024-05-07 13:14:55 首次发布

什么是torchvision.datasets、

是pytorch官方给出的关于cv领域的训练数据集，我们可以用官方提供的数据集进行学习与训练

如何查看

我们可以进入Pytorch官网
在这里插入图片描述
在这里插入图片描述
切换一下版本到v0.9.0，就可以看到官方给出的数据集了
在这里插入图片描述
同时也有官方训练好的cv模型可以供我们学习使用
在这里插入图片描述

如何使用

以使用CIFAR10为例，首先导入torchvision

import torchvision

然后通过代码

train_set = torchvision.datasets.CIFAR10()

进入源码查看
在这里插入图片描述
同时在__init__方法中，我们也可以看到root参数是一定要赋值的，而其他的变量都有默认值
在这里插入图片描述
了解到参数的用法后，我们就可以来创建自己的数据集了


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
pytorch学习笔记七：torchvision.datasets.ImageFolder使用详解

				
			

			

				

					耐心的小黑的博客
				

				

					04-08
					
					4万+
					
				

			

		

		

			
				
一、数据集组织方式
ImageFolder是一个通用的数据加载器，它要求我们以下面这种格式来组织数据集的训练、验证或者测试图片。
root/dog/xxx.png
root/dog/xxy.png
root/dog/xxz.png

root/cat/123.png
root/cat/nsdf3.png
root/cat/asd932_.png

对于上面的root，假设data文件夹在.py文件...

			
		

	



                

            
              



	

		

			

				
					
PyTorch：torchvision中的dataset的使用

				
			

			

				

					m0_73640344的博客
				

				

					11-11
					
					1137
					
				

			

		

		

			
				
通过有效利用和transforms，研究者和开发者可以更高效地进行图像数据的加载和预处理，这对于构建和训练深度学习模型至关重要。正确理解这些工具的使用方法和配置参数，将帮助用户避免常见问题，优化模型训练流程。

			
		

	



              


  
              

                


	

		

			

				
					
PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】——p13：torchvision中的数据集使用

				
			

			

				

					xiangh的博客
				

				

					02-21
					
					383
					
				

			

		

		

			
				
PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】学习笔记

			
		

	





	

		

			

				
					
torchvision中数据集的使用

				
			

			

				

					weixin_70673823的博客
				

				

					03-28
					
					1233
					
				

			

		

		

			
				
torchvision中数据集的使用

			
		

	



		

			
		



	

		

			

				
					
PyTorch源码解读（三）torchvision.datasets

					
热门推荐

				
			

			

				

					sinat_42239797的博客
				

				

					06-28
					
					1万+
					
				

			

		

		

			
				
PyTorch框架中有一个非常重要且好用的包：torchvision，该包主要由3个子包组成，分别是：torchvision.datasets、torchvision.models、torchvision.transforms。这3个子包的具体介绍可以参考官网：https://pytorch.org/docs/master/torchvision/datasets.html。
这篇博客介绍torc...

			
		

	





	

		

			

				
					
pytorch torchvision.datasets.ImageFolder使用详解

				
			

			

				

					guoqingru0311的博客
				

				

					11-10
					
					489
					
				

			

		

		

			
				
pytorch torchvision.datasets.ImageFolder使用详解

			
		

	





	

		

			

				
					
Pytorch——torchvision.datasets

				
			

			

				

					talkAC的博客
				

				

					12-10
					
					3261
					
				

			

		

		

			
				
torchvision 是PyTorch中专门用来处理图像的库，这个包中有四个大类。

torchvision.datasets
	torchvision.models
	torchvision.transforms
	torchvision.utils
torchvision.datasets 是用来进行数据加载的，PyTorch团队在这个包中提前处理好了很多很多图片数据集。

MNIST
	COCO（用于图像标注和目标检测）(Captioning and Detection)
	LSUN Classif

			
		

	





	

		

			

				
					
pytorch torchvision.datasets

				
			

			

				

					Threelights的博客
				

				

					03-20
					
					1万+
					
				

			

		

		

			
				
torchvision 库是服务于pytorch深度学习框架的,用来生成图片,视频数据集,和一些流行的模型类和预训练模型.

torchvision.datasets

所有数据集都是 torch.utils.data.dataset 的子类，也就是说，它们都实现了 __getitem__ 和 __len__ 方法。因此，它们都可以传递给 torch.utils.data.dataloader，...

			
		

	





	

		

			

				
					
【学习笔记】【Pytorch】四、torchvision.datasets模块的使用

				
			

			

				

					qq_45772756的博客
				

				

					01-11
					
					3906
					
				

			

		

		

			
				
一、**torchvision**模块说明
**介绍**：主要处理图像数据，包含一些常用的数据集、模型、转换函数等。
二、**datasets**模块介绍
**介绍**：一些加载数据的函数及常用的数据集接口。
三、**datasets.CIFAR10**类的使用
**作用**：CIFAR-10数据集的加载和数据处理。

			
		

	





	

		

			

				
					
【深度学习|Pytorch】torchvision.datasets.ImageFolder详解

				
			

			

				

					传统图像处理，深度学习，目标检测（分类，检测，分割），多目标追踪，部署等
				

				

					04-03
					
					3092
					
				

			

		

		

			
				
self,root: str,):图片存储的根目录，即存放不同类别图片文件夹的前一个路径。即对加载的这些图片进行的前处理的方式，这里可以传入一个实例化的torchvision.Compose()对象，里面包含了各种预处理的操作。对图片类别进行预处理，通常来说不会用到这一步，因此可以直接不传入参数，默认图像标签没有变换，如果需要进行标签的处理，同样可以传入一个实例化的torchvision.Compose()对象。表示图像数据加载的方式，通常采用默认的加载方式，

			
		

	





	

		

			

				
					
Pytorch学习笔记:torchvision.datasets..CIFAR10()

				
			

			

				

					m0_61384227的博客
				

				

					11-18
					
					677
					
				

			

		

		

			
				
是PyTorch中用于加载CIFAR-10数据集的函数，该数据集包含60000张32x32的彩色图像，分为10个类别，每个类别有6000张图像。其中50000张图像用于训练，10000张图像用于测试。

			
		

	





	

		

			

				
					
【Pytorch】torchvision.datasets模块介绍

				
			

			

				

					m0_62977737的博客
				

				

					11-19
					
					1221
					
				

			

		

		

			
				
通过这个模块，用户可以快速获取标准数据集并加载为 PyTorch 可用的格式。是 PyTorch 提供的一个模块，包含了一系列常用的。一起使用，用于批量加载数据并支持多线程处理。

			
		

	





	

		

			

				
					
pytorch torchvision.datasets.CocoCaptions on Linux

				
			

			

				

					ciyiquan5963的博客
				

				

					11-23
					
					1436
					
				

			

		

		

			
				
中文pytorch网址：https://ptorch.com/docs/1/datasets#coco

1、首先安装COCO　API。参考自：https://github.com/cocodataset/cocoapi/issues/14
git clone https://github.com/pdollar/coco.git

cd coco/PythonAPI
make
py

			
		

	





	

		

			

				
					
20251011_Pytorch从入门到精通

				
			

			

				

					baby_hua的专栏
				

				

					12-18
					
					405
					
				

			

		

		

			
				
讲的很不错！就是这课太老了 复习下机器学习基础还能看 用作入门也很好 其他的略过即可。

			
		

	





	

		

			

				
					
Transformer时序预测实战：用PyTorch构建股价预测模型

				
			

			

				

					qq_74383080的博客
				

				

					12-18
					
					334
					
				

			

		

		

			
				
本文探讨了Transformer在时间序列预测中的应用，相比传统LSTM模型，Transformer通过自注意力机制能更好捕捉长期依赖关系。文章详细介绍了从数据预处理到模型实现的完整流程，包括滑动窗口构造序列、位置编码等关键步骤。实验结果显示，Transformer在模拟股价预测任务上比LSTM训练速度更快（38秒vs45秒），预测误差降低34%（MSE 0.021 vs 0.032）。

			
		

	





	

		

			

				
					
Pytorch经典卷积神经网络-----激活函数篇

					
最新发布

				
			

			

				

					2301_77958892的博客
				

				

					12-18
					
					562
					
				

			

		

		

			
				
在神经元的数学表达式 (y = h(wx+b)) 中，h、w、b 分别代表激活函数、权重参数、偏置参数，三者是构成单个神经元的核心要素，共同实现对输入信号的加权变换与非线性映射其中h则为激活函数一个非线性函数，用于对线性变换结果 (wx+b) 进行映射，让神经元具备非线性表达能力。核心作用：如果没有激活函数，无论神经网络有多少层，最终输出都是输入的线性组合（多层线性变换等价于单层线性变换），无法拟合复杂的非线性任务（如图像分类、语音识别）。

			
		

	





	

		

			

				
					
已经安装了PyTorch，Jupyter Notebook仍然报错“No module named torch“

				
			

			

				

					知识转化中心
				

				

					12-12
					
					364
					
				

			

		

		

			
				
已经安装了PyTorch，Jupyter Notebook仍然报错"No module named torch"点击右上角的Python3(ipykernel)，这个按钮的功能是switch kernel。例如这里我换成了py312,代表python 3.12版本。然后更换kernel,

			
		

	





	

		

			

				
					
PyTorch 高级进阶教程之深度实战实例（四）

				
			

			

				

					OuNuo5280的博客
				

				

					12-18
					
					432
					
				

			

		

		

			
				
本文介绍了PyTorch在工业级和研究级应用中的5个高级特性实践案例： 自定义CUDA算子开发：通过C++/CUDA实现矩阵乘法与ReLU融合算子，性能提升30%以上，并集成到PyTorch自动求导系统。 分布式训练方案：对比DDP（适合中小模型）和FSDP（支持超大模型）两种分布式训练方法，突破单卡内存限制。 模型优化部署：结合知识蒸馏和INT8量化技术，实现模型压缩4倍、推理速度提升2-3倍。 自定义优化器：针对稀疏数据任务改进AdamW，实现仅更新非零梯度参数的高效训练。 Torch.compile加

			
		

	





	

		

			

				
					
DAY 39 GPU训练及类的call方法

				
			

			

				

					2509_94072144的博客
				

				

					12-14
					
					276
					
				

			

		

		

			
				
我感觉这个问题产生的原因是GPU和CPU在实际运行时候是异步的，可能存在很多别的线程占用资源，导致每次运行的结果并不是完全按照一定顺序进行的。但可能在进行很多次训练之后再对时间取平均值就有一个近似线性的关系了。以及内存的压力也很有可能对结果有影响。

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值