drop_last=True

最新推荐文章于 2024-03-26 14:17:35 发布
最新推荐文章于 2024-03-26 14:17:35 发布
阅读量511 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： py+深度学习 文章标签： 深度学习 pytorch python
原文链接：https://blog.youkuaiyun.com/be_intersted/article/details/116760728
当使用Batch Normalization时，若batch_size设置不当且未启用drop_last=True，可能会导致训练过程中出现错误。例如，在PyTorch中，如果批次大小无法整除数据集大小，则最后一批可能包含较少的数据点，从而引发Expected more than 1 value per channel when training的错误。通过设置drop_last=True，可以避免此问题，但代价是每个epoch中部分数据将不被使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

drop_last=True
当你使用了batch normalization的时候，如果batch_size设置得不合适，又没有使用 drop_last = true，那么可能会遇到以下错误

Expected more than 1 value per channel when training, got input size torch.Size([1, 1024])

解决方案：

https://discuss.pytorch.org/t/about-the-relation-between-batch-size-and-length-of-data-loader/10510/4

train_iter = torch.utils.data.DataLoader(train_dataset, batch_size = batch_size, shuffle = True, num_workers = num_workers, drop_last=True)

test_iter = torch.utils.data.DataLoader(test_dataset, batch_size = batch_size, shuffle = True, num_workers = num_workers, drop_last=True)

使用了drop_last = True, 可能会有以下后果：

比如 test set中有229个数据， 如果batch size = 40, 那么就会有29个数据不会被使用。在每一个epoch中，就只有200个数据。229 - 40*5 = 29

再比如，batch size = 20, 那么就会有9个数据不会被使用。在每一个epoch中，就只有220个数据。 229 - 20*11 = 9

drop_last设置为True
weixin_42588877的博客
02-16 2752
在很多情况下，当我们处理数据时，我们希望将数据分成批次进行处理。在PyTorch中，可以使用DataLoader来完成这个任务。DataLoader中有一个参数叫做drop_last，它的默认值是False，表示如果最后一个batch的数据不足一个batch_size大小，则保留该batch。如果将drop_last设置为True，则最后一个batch的数据将被舍弃，不足一个batch_size大...
关于pytorch中drop_last的提醒，不同类别数据不均衡时使用drop_last=True会导致模型训练结果很差
qq_42940160的博客
04-01 9515
项目场景： 我在使用pytorch进行图像分类的时候。 我的解决办法对于我而言很有效，你可以把我的结论当作一种参考 问题描述 遇到了这样的问题。一共16类，第15 16类的训练集数量是15、15，测试集分别为14、5。其他1-14类训练集分别有50个，测试集均为200左右。 当我在pytorch的dataloader中设置了drop_last=True时，无论怎么训练，使用怎么样的数据增强，第15 16类才测试集上的准确率永远为0. 原因分析： 当dataloader设置了drop_last=True时
pytorch drop_last参数
Nick Blog
08-12 1万+
以前一直用keras，习惯不管是训练还是验证，图片数目必须整除batch_size，因为keras是静态图。 后来用了pytorch，仍然在训练验证或数据加载时，设置drop_last=True，这在有时候验证图片比较少并且batch_size设的比较大的时候会导致大量的图片被丢弃。 经过试验，pytorch这种动态图结构下，训练或者验证图片数不能整除batch_size是不会报错的。 有关动态图和静态图的理解，在这里简单说一下我自己的理解： 静态图可以理解成初始化模型的时候，每一层是什么，层与层之间如何连
torch.utils.data.dataloader 如何避免 drop_last=False 导致最后一个batch报错
weixin_42584758的博客
01-18 1172
可以在定义dataloader时将drop_last参数设置为True，这样最后一个batch如果数据不足时就会被舍弃，而不会报错。例如： dataloader = torch.utils.data.DataLoader(dataset, batch_size=batch_size, drop_last=True) 另外，也可以在数据集的 len 函数中返回整除batch_size的长度来避免最后...
train_loader = DataLoader(dataset_train, batch_size, num_workers=8, drop_last=True, shuffle=True)
11-10
4. `drop_last`: 如果数据集中样本数量不能整除`batch_size`，`drop_last=True`会使剩余的部分被丢弃，而`False`则会保留并填充不足的批次。 这里是如何创建`train_loader`的实例[^1]: ```python train_loader = ...
train_loader = DataLoader(self.local_data, self.local_bs, shuffle=True, drop_last=True)
最新发布
11-14
train_loader = DataLoader(self.local_data, self.local_bs, shuffle=True, drop_last=True) for images, labels in train_loader: # 这里images和labels是当前batch的图像和对应的标签 # 做进一步的处理，如...
drop_last=True也设置了
06-07
如果你已经设置了batch大小为4并且`drop_last=True`，但仍然出现这个错误，那么可能是因为你的数据集中根本没有样本。你需要检查你的数据集，确保它包含至少一个样本。如果你确认了数据集中有样本，而问题仍然存在，...
用伪代码书写以下代码 r_scheduler_func = get_lr_scheduler(lr_decay_type, Init_lr_fit, Min_lr_fit, UnFreeze_Epoch) model.Unfreeze_backbone() epoch_step = num_train // batch_size epoch_step_val = num_val // batch_size if epoch_step == 0 or epoch_step_val == 0: raise ValueError("数据集过小，无法继续进行训练，请扩充数据集。") if distributed: batch_size = batch_size // ngpus_per_node gen = DataLoader(train_dataset, shuffle=shuffle, batch_size=batch_size, num_workers=num_workers, pin_memory=True, drop_last=True, collate_fn=detection_collate, sampler=train_sampler) gen_val = DataLoader(val_dataset, shuffle=shuffle, batch_size=batch_size, num_workers=num_workers, pin_memory=True, drop_last=True, collate_fn=detection_collate, sampler=val_sampler) UnFreeze_flag = True if distributed: train_sampler.set_epoch(epoch) set_optimizer_lr(optimizer, lr_scheduler_func, epoch) fit_one_epoch(model_train, model, loss_history, optimizer, epoch, epoch_step, epoch_step_val, gen, gen_val, UnFreeze_Epoch, Cuda, fp16, scaler, save_period, save_dir, local_rank) if local_rank == 0: loss_history.writer.close()
06-02
gen = DataLoader(train_dataset, shuffle=shuffle, batch_size=batch_size, num_workers=num_workers, pin_memory=True, drop_last=True, collate_fn=detection_collate, sampler=train_sampler) gen_val = ...
pytorch 中 drop_last与 nn.Parameter
chumingqian的博客
12-11 2563
在使用深度学习，pytorch 的DataLoader 中，drop_last=True ：DataLoader 中的此设置会删除不完整的最后一批（如果它小于指定的批量大小）。这确保了训练期间处理的每个批次包含相同数量的样本。
Data.DataLoader 舍弃最后一个batch数据
04-20 2378
Data.DataLoader 舍弃最后一个batch数据
nn.BatchNorm2d()
xdqiangdd的博客
07-29 422
nn.BatchNorm2d() 这个函数在训练时只能输入batch size >1 的数据。 train 阶段 因此如果在最后一个Batch只有一个数据时应把该batch丢弃。 在torch.utils.data.Dataloader中设置参数： drop_last=True 不足batch大小的最后部分舍去 eval阶段 在评价模型时如果需要输入单张图片，可以在前面加上： net.eval ...
解决 batch_sampler option is mutually exclusive with batch_size, shuffle, sampler, and drop_last
qq_38343151的博客
06-22 9075
因为我再dataloader中传入了drop_last=True，就报错ValueError: batch_sampler option is mutually exclusive with batch_size, shuffle, sampler, and drop_last，看源码发现问题所在，因为参数设置的冲突导致，我设置batch_sampler这个参数，一旦指定了这个参数，那么batch_size,shuffle,sampler,drop_last就不能再制定了（互斥——Mutually exc.
torch.utils.data.DataLoader参数分析
ym62033的博客
03-26 1131
若想把剩下的不足batch size个的数据丢弃，则将drop_last设置为True，会将多出来不足一个batch的数据丢弃。但每次返回的是一批数据的索引（注意：不是数据）。将输入数据的顺序打乱，是为了使数据更有独立性，但如果数据是有序列特征的，就不要设置成True了。设置了 batch_size 的数目后，最后一批数据未必是设置的数目，有可能会小些。设置了 batch_size 的数目后，最后一批数据未必是设置的数目，有可能会小些。所以，它和一捆一捆按顺序输入，数据洗牌，数据采样，等模式是不兼容的。
pytorch初学笔记（六）：DataLoader的使用
CV在读
10-30 2万+
DataLoader是一个可迭代的数据装载器，组合了数据集和采样器，并在给定数据集上提供可迭代对象。可以完成对数据集中多个对象的集成。CLASSDataLoaderdataset,,,,,,,,,timeout=0,,,,*,,,)Epoch： 所有训练样本都已输入到模型中，称为一个epochIteration： 一批样本（batch_size）输入到模型中，称为一个Iteration,
pytorch载入数据与对应的标签，使用torch.utils.data详解，DataLoader的使用
qq_51570094的博客
04-09 1万+
在进行深度学习处理的时候，我们需要将数据输入到神经网络中进行训练，训练网络的学习能力，其实是根据一定的规则更新网络节点中的参数，而这个规则的来源就是依赖于数据与标签。我们需要将数据与标签相匹配，才能让网络进行训练，比如说网络学习到了一定的特征，而查阅此时的标签信息，比如说是车，那么网络就可以记住这样的特征表示的是车。这就要求我们输入的数据与数据标签是要对应的，在pytorch中，我们使用torch.utils.data 类来实现。 函数的中文文档： torch.uutils.datahttps://py
pytorch DataLoader num_workers 出现的问题
weixin_42236288的博客
07-03 6万+
最近在学pytorch,在使用数据分批训练时在导入数据是使用了 DataLoader 在参数num_workers的设置上使程序出现运行没有任何响应的结果 ，看看代码 import torch #导入模块 import torch.utils.data as Data BATCH_SIZE=8 #每一批的数据量 x=torch.linspace(1,10,10) #定义X为 ...
PyTorch源码解读之torch.utils.data.DataLoader
热门推荐
AI之路
01-14 22万+
PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口，该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor，后续只需要再包装成Variable即可作为模型的输入，因此该接口有点承上启下的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值