pytorch 解决'模型预测时把batch_size调小了准确率就会下降'的问题

最新推荐文章于 2025-04-21 22:43:22 发布
最新推荐文章于 2025-04-21 22:43:22 发布
阅读量4.6k 收藏 2
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Accepted_Lam/article/details/104826055
版权

最近在使用pytorch的mobilenet v2，使用模型进行验证的时候出现了奇怪的问题，调节预测时的batch size,准确度竟然会有较大的变化。具体表现为，batch size越小，四个指标越低。当batch size调为1的时候f1等指标居然都在80%以下。上网查了资料，包括知乎中的问题当batch_size为1时为何模型测试的准确率会严重下降？ 发现测试结果较差的原因在于BatchNorm的afine=True,使得验证时BatchNorm中的参数也参与了训练。
解决方法：在验证模型前加入 model.eval()

Accepted_Lam
关注
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 8万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
Pytorch 关于Batch_Size的大小及BatchNorm设置对测试结果的影响
danielr1106的博客
02-29 1万+
这篇里面没图片 BatchNorm的affine=True的情况下，如果训练和测试的时候Batch_Size设置成不同的数字，比如训练的时候Batch_Size=16，测试的时候单张测试（Batch_Size=1），则测试结果会很差，必须在测试的时候Batch_Size=16（也就是测试和训练使用同样的Batch_Size），才会有合理的结果 这样的情况是因为BatchNorm的affine=Tr...
深度学习中，batch大小对模型的效果有影响吗？
Xzz2019的博客
05-20 2897
由于使用的是同一个模型，可以排除model bias的问题，而是optimization的问题。使用大的batch size时，optimization可能会有问题，小的batch size的结果可能是比较好的。但是如果使用small batch（上如左2），训练时每个batch会根据自己的Loss函数来算梯度,在观察validation上的结果时，会发现随着batch size增加，acc结果越来越差。第一个batch用L1算梯度，第二个batch用L2算梯度。内容来自李宏毅-2021机器学习。
深度学习中的 batch size 参数的设置技巧
不要给自己设限，尝试更多可能（思所向 皆可往）
04-19 1221
批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练。1个iteration等于使用batchsize个样本训练一次。1个epoch等于使用训练集中的全部样本训练一次。训练集有1000个样本，batchsize=10，那么训练完整个样本需要100次iteration，1次epoch。（1）batch数太小，而类别又比较多的时候，可能会导致loss函数震荡而不收敛，尤其是在网络比较复杂的时候。（2）随着batchsize增大，处理相同的数据量的速度越快。
深度学习模型验证集准确率很低的几大原因
weixin_39976528的博客
08-06 2万+
深度学习模型验证集准确率很低的几大原因 https://blog.youkuaiyun.com/wangdong2017/article/details/90176323
pytorch 测试模型时取不同的batchsize会由不同的正确率
lanlin的博客
06-07 2002
pytorch 测试模型时取不同的batchsize会由不同的正确率，一般是没有使用model.eval()的原因
batch size和模型宽度对训练结果的影响
hou9021的博客
03-30 1837
这里写目录标题一级目录1二级目录11三级目录1 1 11111 1 111 111 1 1 1 1 1 1 一级目录1 1 1 1 1 1 1 1 1 1 1 1111 111 1 二级目录11 1 1 1 1 1 1 1 1 1 1 1 三级目录1 1 1 1 1 1 1 1 1 ...
pytorch classification的.py_pytorch_pytorch分类_MNISTpytorch_
10-03
这通常通过计算模型预测的准确率来完成： ```python correct = 0 total = 0 with torch.no_grad(): for images, labels in test_loader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) ...
pytorch模型预测
qq_41166909的博客
03-30 5612
1.数据集 pytorch有个快速构造数据集的方法 但是你的目录结构必须是 image_datasets = {x: datasets.ImageFolder(os.path.join(data_dir, x),data_transforms[x])for x in ['train', 'val']} 首先for循环将['train',val]分别赋给x, x =train/val。 os.path.join(data_dir,x)将文件dataset和train和val拼接起来。.
Batch Size
最新发布
Rhett_Butler0922的博客
04-21 1052
Batch Size（批大小）是指在深度学习模型训练过程中，每次前向传播和反向传播时输入到模型中的样本数量。具体来说，深度学习模型的训练通常基于梯度下降（Gradient Descent）算法，而batch_size决定了每次迭代（iteration）中用于计算梯度和更新模型参数的样本数量。Batch_size是深度学习训练中的一个核心超参数，它在梯度估计、计算效率、内存占用和模型性能之间起到平衡作用。定义：batch_size是每次迭代中用于计算梯度和更新参数的样本数量。作用。
python分类预测降低准确率_解决Alexnet训练模型在每个epoch中准确率和loss都会一升一降问题...
weixin_39731623的博客
12-09 997
遇到的问题当时自己在使用Alexnet训练图像分类问题时，会出现损失在一个epoch中增加，换做下一个epoch时loss会骤然降低，一开始这个问题没有一点头绪，我数据也打乱了，使用的是tf.train.shuffle_batch在capacity中设置一个值，比如是1000吧，每次取一千个数据后将这一千个数据打乱，本次使用的数据集就是每个种类1000多，而我加载数据时是一类一类加载的，这就造成了...
训练模型的准确率很高，但是验证集准确率特别低
热门推荐
bi_diu1368的专栏
06-01 6万+
训练图的过程如下： 训练结果： 训练的loss很低，而且正确率已经很高了，但是在验证集上面，loss比较高，而且准确率特别低，还一直不稳定。 产生原因： 将每个类别的数据集中的放在一起，而且数据标签也是很集中的 model.fit(train_data, train_label, batch_size = 32, epochs =...
模型参数加载后继续训练或测试，准确率下降很多或者一直不变
j_starry的博客
11-14 5686
如果保存的模型加载后继续训练或测试时，准确率和预想的有较大差距，可以从以下几个方面去进行考虑
如何提高机器学习模型准确率？
沐叔
02-26 1万+
在公司日常的开发机器学习模型工作流程中，我经常发现大家在拿到数据后就迫不及待要开始调用接口，用TensorFlow或pyTorch写代码，洋洋洒洒写了几百行代码执行后才发现正确率还没达到预期一半的目标。 这种事情真的非常常见，研发工程师就经常会有这种问题，觉得自己模型实现只要写好代码逻辑就行，管什么数据逻辑，怼上去就完事。 往往有时候居然还怼对了，这无疑给他们自信，有时我还真说不过他们，反正下次...
掌财社:pytorch测试结果不准确怎么办？关于model.eval的问题
weixin_45378258的博客
07-20 539
不知道有没有小伙伴遇到过这样的情况：有时候使用Pytorch训练完模型，在测试数据上面得到的结果并不尽如人意。到底是什么原因导致pytorch训练结果不准确的呢？阅读这篇文章，你或许会找到答案。 当我们遇到训练结果不准确的情况的时候，可能需要检查一下定义的Model类中有没有 BN 或 Dropout 层，如果有任何一个存在 那么在测试之前需要加入一行代码： #model是实例化的模型对象 model = model.eval() 表示将模型转变为evaluation（测试）模式，这样就可以排除B
深度学习：batch_size和学习率 及如何调整
皮皮blog
10-21 4万+
-柚子皮- 学习率衰减 import torch.optim as optim from torch.optim import lr_scheduler # 训练前的初始化 optimizer = optim.Adam(net.parameters(), lr=0.001) #学习率衰减 scheduler = lr_scheduler.StepLR(optimizer, 10, 0.1) # # 每过10个epoch，学习率乘以0.1 # 训练过程中 for n in n_epoch: ...
日攻一卒 --- batch_size 和 准确率的关系
weixin_40170393的博客
05-08 1882
为了找到适合您问题的最佳批量大小，您可以尝试这些常用值，并根据训练速度和准确率来确定合适的大小。收敛速度：较大的批量大小可以加速训练过程，因为每个批次处理的样本更多。较小的批量大小可能会导致模型收敛速度较慢，但由于噪声较大，有助于模型跳出局部最小值。准确率：在许多情况下，较小的批量大小可以提高模型的泛化能力。因此，选择合适的批量大小对于在训练速度和准确率之间实现平衡至关重要。计算资源：较大的批量大小需要更多的内存。较小的批量大小占用较少的内存，使得训练可以在具有有限资源的设备上进行。
Pytorch内存优化方法，显著提升模型训练batch_size，减少out of Memory错误发生
Pinkgranite86的博客
04-03 5841
目录1.可能的条件下，尽量使用in_place实现2.Pytorch的 ‘checkpoint’3.删除loss等不再被需要的值，释放对应的空间4. 混合精度训练 参考资料： 知乎讨论； pytorch论坛； 官方文档； 1.可能的条件下，尽量使用in_place实现 使用in_place操作使得Pytorch的allocator不会记录该部分的原tensor，从而减少显存的消耗。也正是因为如此，如果在网络反向计算梯度的过程中需要用到原tensor，那么就不能够使用in_place操作，否则会使得反向传播报
Pytorch：含BatchNorm的模型的loss在train和eval时差太远？可能是summary搞的鬼...
weixin_44115162的博客
12-07 1421
结论： 在Pytorch中，如果神经网络中使用了BatchNorm，那么在测试时，在你执行model.eval()之前，不要喂给网络任何数据，也不要使用torchsummary的summary函数测试网络参数量。 细节： 训练了一个模型，训练集loss0.05，测试集loss0.15，差了好远。。 仔细核对了一下，网络结构一样，载入参数一样，pipeline一样，数据一样，全是一样的，结果输出差了很多。调试一天后定位问题，出在BatchNorm上。 我们在测试模型时，首先会实例化一个model，然后为这个m
batch_size的专业术语叫什么
03-08
<think>好的，用户问的是“batch_size的专业术语叫什么”。首先，我需要确认batch_size在机器学习中的标准术语。根据我的知识，batch_size通常翻译为“批大小”或“批量大小”。接下来，我应该解释这个术语的上下文和应用场景，比如在训练神经网络时，数据被分成多个批次，每个批次包含的样本数量就是batch_size。 然后，我需要考虑用户可能的背景。用户可能刚接触机器学习，所以需要简单明了的解释。同时，用户可能想知道为什么这个参数重要，以及不同的batch_size对训练的影响，比如内存使用、训练速度、模型收敛性等。不过用户直接问的是术语名称，所以回答应首先明确给出术语，再简要扩展。 还要注意用户是否可能混淆相关术语，比如“mini-batch”和“batch”的区别。可能需要指出batch_size通常指的是mini-batch的大小，尤其是在随机梯度下降（SGD）中。不过用户的问题集中在术语名称上，所以这部分可以作为补充信息，避免混淆。 另外，需要检查是否有其他可能的术语，比如“批次尺寸”或“批量尺寸”，但“批大小”或“批量大小”更为常见。确保术语的准确性，并举例说明其使用场景，比如在PyTorch或TensorFlow中设置batch_size的参数名称。 最后，组织回答结构，先直接回答术语名称，再分点解释其含义、作用和常见影响。这样用户能快速获取核心信息，同时有扩展知识供参考。确保语言简洁，避免技术 jargon 过多，适合不同层次的读者理解。</think>在机器学习和深度学习领域，batch_size 的专业术语标准翻译为： 中文术语：**批大小** 或 **批量大小** 具体说明： 1. **定义** - 批大小表示每次模型训练时输入数据的样本数量。例如，若总数据量为1000个样本，设置批大小为100，则每个训练步骤（step）会处理100个样本，共需10个步骤完成一轮（epoch）训练。 2. **作用场景** - 在随机梯度下降（SGD）及其变体（如Mini-batch SGD）中，批大小控制着参数更新的频率和计算效率。较大的批大小可提高内存利用率但可能降低收敛速度，较小的批大小则有助于模型泛化能力。 3. **相关概念对比** - 批量梯度下降（Batch GD）：批大小等于整个训练集（现已较少使用） - 随机梯度下降（SGD）：批大小为1 - 小批量梯度下降（Mini-batch GD）：批大小介于1到全量数据之间（最常见场景） 4. **技术影响** - 显存/内存消耗与批大小正相关 - 批大小影响梯度估计的方差和收敛稳定性 - 极端情况下（如批大小为1时），模型参数更新噪声较大 示例代码中的典型应用： ```python # PyTorch 中的 DataLoader 设置 train_loader = DataLoader(dataset, batch_size=64, shuffle=True) ``` 建议根据硬件资源和任务需求，通过实验选择合适的批大小。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值