pytorch生成带滑动的训练集测试集（batch)

沉思的雅典娜

已于 2022-04-14 17:31:24 修改

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： pytorch batch lstm 文章标签： pytorch LSTM RNN batch

于 2022-04-14 17:16:46 首次发布

本文链接：https://blog.youkuaiyun.com/cf_jack/article/details/124175312

本文介绍了如何在PyTorch中创建带有滑动步长的训练集和测试集，特别适用于LSTM等需要序列输入的模型。通过示例代码展示了不同滑动步长下批处理的生成过程，解决训练数据的连续性问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

话不多说，先上代码

Example1

from torch.utils import data
import torch

batch_size = 3
t1 = np.arange(0,20)
t2 = np.arange(0,20)+100

生成序列0~19和100~190，分别模拟x_train和y_train

tensor1 = torch.from_numpy(t1)
tensor2 = torch.from_numpy(t2)

上一步很关键，否则报错

data_set = data.TensorDataset(tensor1,tensor2)
data_iter = data.DataLoader(data_set,batch_size=3,shuffle=False)
for x_batch, y_batch in data_iter:
    print('-----------------')
    dsp(x_batch)
    dsp(y_batch)
    print('-----------------')

部分输出结果：

不过上面的例子有个问题，如果使用类似LSTM这种模型，需要滑动输入比如

原始如下：

tensor([0, 1, 2])

tensor([100, 101, 102])

tensor([3, 4, 5])

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

沉思的雅典娜

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

bn层学习笔记 mxnet与pytorch比较加载预训练

jacke121的专栏

08-18

2296

bn层学习笔记 mxnet与pytorch比较加载预训练

PyTorch深度学习实战（21）——从零开始实现Faster R-CNN目标检测

盼小辉丶的博客

10-16

7546

Faster R-CNN 提出了一种全新的目标检测框架，将候选框生成和目标分类合并到一个网络中，实现了端到端的训练，可以同时优化候选框生成和目标分类任务，提高了检测的准确性和效率。同时，利用共享的卷积特征可以加速特征提取的计算，进一步提高了检测速度。在本节中，将介绍 Faster R-CNN 的工作原理，然后在自定义数据集上训练 Faster R-CNN 目标检测模型。

参与评论您还未登录，请先登录后发表或查看评论

pytorch 中一个batch的训练过程

GISer and Coder

08-28

1774

# 一般情况下 optimizer.zero_grad() # 梯度清零 preds = model(inputs) # inference，前向传播求出预测值 loss = criterion(preds, targets) # 计算loss loss.backward() # 反向传播求解梯度 optimizer.step() # 更新权重更新网络权重参数此外，反向传播前，如果不进

pytorch中的批训练(batch)

Troublemaker丶的博客

03-30

1万+

用pytorch进行批训练其实很简单，只要把数据放入DataLoader（可以把它看成一个收纳柜，它会帮你整理好）大概步骤：生成X，Y数据将X，Y数据转为dataset dataset = Data.TensorDataset(X,Y) 将dataset放入DataLoader中 loader = Data.DataLoader( dataset=dataset, ...

pytorch批量训练

qq_43251445的博客

06-09

393

新版直接传入参数Data.TensorDataset（x, y）没有GPU的num_workers=2会报错，默认使用0。num_workers：用于数据加载的子进程数目，默认0 import torch import torch.utils.data as Data # 批训练数据的大小 BATCH_SIZE = 5 x = torch.linspace(1, 10, 10) y = torch.linspace(10, 1, 10) # 新版中TensorDataset直接传入参数即可 # .

pytorch 6 batch_train 批训练

轮子去哪儿了

02-26

454

pytorch 6 batch_train 批训练 import torch import torch.utils.data as Data torch.manual_seed(1) # reproducible # BATCH_SIZE = 5 BATCH_SIZE = 8 # 每次使用8个数据同时传入网路 x = to...

pytorch：批训练（batch_training）

傲笑风的博客

08-01

1万+

一、什么是批训练？批训练：意思是把整套训练数据分成数个批次进行训练，每个批次从数据中选取 n_num(总数据)/n_batch(批次) 个数据，直到把整套数据训练完成。举个例子，有10个输入训练数据，每个批次训练3个数据，这训练完成需要4个批次，第一次从[1,2,3,4,5,6,7,8,9,0]随机选取3个数据，batch_1=[2,5,9]，第二次再从剩余的7个数据中选取，得到batch_2=[1,4,8]，第三次又从剩余的4个数据中选取3个，得到batch_3=[4,6,0]，数据中只剩余1个数据

学习pytorch笔记--CNN

wenyiweiyuan的博客

11-12

1760

有部分转载，且为代码小白

PyTorch深度学习实战（11）——卷积神经网络

热门推荐

盼小辉丶的博客

08-14

1万+

卷积神经网络 (Convolutional Neural Network, CNN) 是一种广泛应用的深度学习模型。通过参数共享、局部感知和空间结构等优势，能够更好地处理图像数据，并在图像识别、目标检测和图像生成等任务中展现出强大的能力。在本节中，介绍了卷积的计算方法以及卷积神经网络的基本组件，并使用 PyTorch 构建了卷积神经网络以深入了解其工作原理。

pytorch批训练

weixin_43955530的博客

06-24

869

由于数据量太大，经常会把整个数据拆成一小批一小批来训练，可以提高训练效率。 Torch提供了一种整理数据的方法：DataLoader，用它来包装数据，进行批训练构建数据 import numpy as np import torch import torch.utils.data as Data BATCH_SIZE = 5 x = torch.linspace(1,10,10) #x是1-10 y = torch.linspace(10,1,10) #y是10-1 print(x) print(y)

Pytorch：批量数据（batch）分割

01-20

原文地址分类目录——Pytorch 深度学习可行的一个前提是假设数据之间是相互独立的，用相关的数据进行训练会让训练的模型局限于满足一撮数据，没有实用性。而更多的现实情况是数据之间存在着或多或少的相关性，所以深度学习中常用海量数据来弥补数据间相关所产生的训练模型的不足。在大量数据中学习中，小批量（batch）梯度下降是一种比较好的方式，每次选取一小部分数据来进行参数更新，既能沿着较好的方向更新，又能兼顾训练的效率另外，从数据集中随机（不连续）抽取数据也是可以减弱数据相关性的影响的。这一点在随机森林中的到了充分的利用（这里的随机与随机森林中的随机不完全相同） pytorch中引入了对数据进行切

【Pytorch教程】：批训练

nanke_4869的博客

01-30

1032

Pytorch教程目录 Torch and Numpy 变量 (Variable) 激励函数关系拟合（回归）区分类型 (分类) 快速搭建法批训练目录Pytorch教程目录DataLoader全部代码 Torch 中提供了一种帮我们整理数据结构的好东西, 叫做 DataLoader, 我们能用它来包装自己的数据, 进行批训练. 而且批训练可以有很多种途径。 DataLoader DataLoader 是 torch 用来包装数据的工具. 所以你要讲自己的 (numpy array 或其他) 数据形式

pytorch 分批次训练

tynewbilar的博客

07-01

2179

batch_size=32 这个是分的批次大小，我这里选择每批次32，shuffle=True 是否随机打乱 num_workers=2 表示加载时使用多少个子进程这个根据自己的配置自行选择。之前那种我们会发现运行的速度反而会较之前慢一些因为还进行了分批次等操作同时也没有特别好的运用 GPU并行能力，之前的都是使用直接训练虽然它有它自己的优点但分批次训练也是一种重要的方法。使用的数据集依然是8个特征的糖尿病预测二分问题数据集的获取，见我之前文章。数据集的引入因为要分批次所以要写几个魔法函数。

[Pytorch图像分类全流程实战]Task05:测试集评估模型性能

m0_59286668的博客

01-28

1068

[Pytorch图像分类全流程实战]TaskO5:测试集评估模型性能

PyTorch 训练集、验证集、测试集、模型存档、正则化项

m0_51448653的博客

11-01

1102

训练集（Training Dataset）是用来训练模型使用的。

PyTorch批训练及优化器使用

荷叶田田

01-09

3511

一、PyTorch批训练 1. 概述 PyTorch提供了一种将数据包装起来进行批训练的工具——DataLoader。使用的时候，只需要将我们的数据首先转换为torch的tensor形式，再转换成torch可以识别的Dataset格式，然后将Dataset放入DataLoader中就可以啦。 import torch import torch.utils.data as Data t...

PyTorch学习系列(一)——加载数据并生成batch数据

学习、记录、分享

11-22

9276

开始学习PyTorch，在此记录学习过程。准备按顺序写以下系列：加载数据并生成batch数据数据预处理构建神经网络 Tensor和Variable 定义loss 自动求导优化器更新参数训练神经网络参数_定义参数_初始化如何在训练时固定一些层？绘制loss和accuracy曲线 ...

pytorch:分批训练

咩咩的博客

03-14

1166

在这里插入代码import torch import torch.utils.data as Data#批处理模块 torch.manual_seed(1) # reproducible BATCH_SIZE = 5#每小批5个 # BATCH_SIZE = 8 x = torch.linspace(1, 10, 10) # this is x data (torch tensor) y = torch.linspace(10, 1, 10) # this is y da

如何用pytorch生成batch数据集

weixin_45318860的博客

01-11

594

https://play.tudou.com/v_show/id_XMzA2NTE0ODcyNA==.html

randla-net_pytorch自己的数据集 S3DIS

最新发布

03-12

<think>好的，用户想在PyTorch版的RandLA-Net中加载和训练自定义的S3DIS数据集。首先，我需要回顾RandLA-Net的数据处理流程。记得它使用的是KITTI这样的点云数据集，而S3DIS是室内场景的数据，结构不同。可能需要调整数据加载器。首先，用户需要准备S3DIS的数据格式。S3DIS通常以.obj或.txt文件存储点云，每个点包含坐标、颜色和标签。但RandLA-Net可能要求特定的输入格式，比如块划分或者采样方式。可能需要将S3DIS数据预处理成适合的格式，比如分块成小点云块，并生成对应的标签文件。接下来是数据加载器的修改。RandLA-Net的PyTorch实现可能有自己的Dataset类，比如继承自torch.utils.data.Dataset。需要创建一个新的Dataset类，专门读取处理后的S3DIS数据。可能需要实现点云的随机采样、特征提取（如坐标、颜色、法线等）和数据增强（旋转、缩放、扰动）。然后是网络输入的调整。检查RandLA-Net的输入是否接受颜色或法线信息。S3DIS的点可能包含RGB值，如果原网络仅使用坐标，可能需要修改网络的第一层以接受更多特征通道。训练参数的设置也很重要。S3DIS的类别可能与原数据集不同，需要调整输出层的类别数。同时，类别不平衡问题可能需要使用加权损失函数，比如根据类别频率调整权重。验证和测试的部分需要确保数据划分正确，可能按照S3DIS的标准划分，比如Area 5作为测试集。评估指标可能需要包括mIoU等点云分割常用指标。另外，可能遇到内存问题，因为S3DIS的点云较大，需要合理设置批次大小和点采样数量。可能需要使用数据生成器或在线采样来减少内存占用。最后，参考现有的S3DIS处理代码或RandLA-Net的其他数据集实现可能会有帮助。比如，检查是否有开源的S3DIS加载代码，或者社区中对类似问题的讨论。需要确保数据预处理和加载部分与PyTorch的数据管道兼容，比如使用DataLoader的多线程加载。总结步骤应该是：数据预处理→修改Dataset类→调整网络输入输出→设置训练参数→验证和测试。同时，注意文档和代码中的引用，确保正确性。</think>在PyTorch版RandLA-Net中加载S3DIS数据集需要以下关键步骤： ### 一、数据预处理 1. **格式转换**：将S3DIS的原始`.obj`文件转换为标准点云格式，建议存储为`.npy`文件，每个样本包含$(N \times 9)$矩阵，其中$N$为点数，特征维度包含坐标$(x,y,z)$、颜色$(r,g,b)$和法线$(n_x,n_y,n_z)$[^1] 2. **场景划分**： ```python def split_blocks(points, block_size=3m, stride=2m): # 实现点云场景的滑动窗口分块 return sub_blocks ``` ### 二、数据集类实现 ```python class S3DISDataset(Dataset): def __init__(self, root, split='train'): self.clouds = load_preprocessed_data(root) def __getitem__(self, idx): points = self.clouds[idx] # 实现随机采样和特征选择 sampled_points = farthest_point_sample(points, 4096) return torch.FloatTensor(sampled_points), torch.LongTensor(labels) ``` ### 三、网络输入调整修改`model/config.py`中的输入参数： ```python cfg.num_features = 9 # xyz + rgb + normal cfg.num_classes = 13 # S3DIS的13个语义类别 ``` ### 四、训练配置 1. **损失函数加权**： ```python class_weight = compute_class_weight('balanced', classes, train_labels) criterion = nn.CrossEntropyLoss(weight=torch.from_numpy(class_weight).float()) ``` 2. **数据增强**： ```python transform = Compose([ RandomRotateZ(), RandomScale(0.8, 1.2), RandomDropColor(p=0.5) ]) ``` ### 五、注意事项 1. 推荐使用6折交叉验证，按照标准协议使用Area 5作为测试集[^2] 2. 在验证阶段需要实现点云重投影，将预测结果映射回原始点云坐标 3. 建议batch_size设置为4-6（显存11GB）