调参问题记录--显存下降&bs调整

最新推荐文章于 2026-01-02 13:13:52 发布
原创 最新推荐文章于 2026-01-02 13:13:52 发布 · 376 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #机器学习

最近接触一个生成代码，在每个epoch的train后放入了torch.cuda.empty_cache()，然后进入eval，模型整体bs为1，lr为0.0001。
我要查看这个模型在我的数据上效果，所以需要进行简单的超参调节，以下记录了步骤：

  • 具体操作：bs较小，调参起来周期长，修改bs和对应的lr

  • 发现问题1：这个步骤中，bs调整为32，lr调整为0.01，此时在watch中gpu会在一个epoch的训练结尾突然降低到6%-8%浮动

  • 解决思路：

    • 是否为gpu温度过高问题，因为我发现gpu随着运行逐渐会升高到80C，通过记录发现，并不是温度导致的显存突然下降
    • 是否为dataloader的num_workers=8参数导致训练一段时间后内存满了，导致显存利用率下降，调整num_workers=0，增加pin_memory=True 选项，仍不能解决
    • 是否为torch.cuda.empty_cache()问题，移除之后发现并没有太大变化，因为我的显存没有完全跑满，并不担心会爆显存
    • 最后发现是eval的验证过程，bs还是为1且只有前向过程，所以使用现存很少且由于数据比较多又显得很慢

  • 发现问题2：bs调整为32，lr调整为0.01，按理说应该会比bs为1，lr为0.0001能够更快到收敛值，有一个较好的结果，但是我发现训练后期会让整个生成模型变得不稳定，甚至loss逐渐增大

  • 解决思路2：
    我觉得可能是因为针对专门的数据集，基于GAN的生成模型在大bs中学习会很困难，导致bs增大后，模型能力不足，导致模式崩溃

RT-DETR-R50 批量推理性能：高并发场景下的吞吐量测试
走向CTO的路上...
11-05 719
RT-DETR-R50批量推理性能：技术突破与系统优化 核心发现 RT-DETR-R50在批量推理场景下实现了245.2 samples/s的峰值吞吐量（批量32），相比单张推理提升6.9倍，展示了Transformer架构在大规模批量处理中的独特优势。 关键技术突破 计算并行化：通过自注意力机制的批处理优化，实现接近线性的吞吐扩展 内存效率革命：从285MB/样本降至42MB/样本，提升内存访问效率579% 端到端优化：消除传统NMS瓶颈，使整个推理流程支持高效批处理 系统架构亮点 动态批处理管理（支持最
Attention优化｜2w字原理&图解: 从Online-Softmax到FlashAttention V1/V2/V3
强化学习曾小健
05-25 4799
本文通过原理分析和图解的方式，通俗易懂地FlashAttention系列算法。FlashAttention V1/V2在LLM领域的应用已经非常广泛，相关的论文也反复读了几遍。FA1和FA2论文非常经典，都推荐读一下（不过FA2论文中公式错误不少本文大约1.8w字，包括以下内容：0x07 分布式训推使用FlashAttention0x09 FlashAttention中MQA/GQA以及Causal Mask处理。
显存超出限制怎么办？一文解决深度学习中的 CUDA OOM 问题（附代码+实战技巧）
未名编程
05-11 1396
在深度学习训练或推理过程中，"CUDA out of memory"（显存超出限制）是一个常见问题，通常由Batch Size过大、输入图像尺寸过高、模型结构复杂、未及时释放缓存等原因引起。本文提供了一系列解决方案，包括减小Batch Size、清理显存缓存、使用torch.no_grad()提升推理效率、混合精度训练、梯度累积、模型瘦身、控制输入图像大小等。此外，还介绍了显存监控和多GPU训练的进阶技巧。通过这些方法，可以有效避免显存超限问题，提高模型训练和推理的效率。
解决增加num_workers反而导致训练时间变长的问题，详细解决方案
weixin_42025755的博客
08-29 713
在Windows系统上，检测num_workers增加反而导致训练时间变长的问题，你可以使用以下方案： 1. GPU与CPU资源不平衡 检测方案： 监控GPU使用率： 步骤： 打开任务管理器（Ctrl+Shift+Esc），选择“性能”选项卡。 在左侧选择你的GPU，查看训练过程中的GPU利用率。 记录不同num_w...
Qwen3-VL分析TensorBoard训练曲线调参建议
最新发布
weixin_32389853的博客
01-02 373
通过TensorBoard监控Qwen3-VL的训练过程，能够深入理解模型的学习动态。损失震荡、梯度异常、学习率不适配等问题都能在曲线中找到线索。结合梯度裁剪、学习率调度与日志规范，可提升多模态模型训练的稳定性与效率。
解决显存溢出问题：lora-scripts训练中的batch_size调整策略
weixin_42514540的博客
01-02 320
在使用消费级显卡进行LoRA训练时，batch_size是影响显存占用的关键因素。过大的batch_size容易导致CUDA内存溢出，而合理调整该参数可显著提升训练稳定性。本文结合lora-scripts实践，解析batch_size与显存消耗的关系，提出渐进式调优方法，并给出适用于主流显卡的配置建议，帮助用户在资源限制下高效完成微调任务。
告别手动调参时代，Open-AutoGLM如何实现全流程自主优化？
FuncLens的博客
12-26 604
Open-AutoGLM总体框架助力告别手动调参，实现大模型全流程自主优化。适用于多种NLP任务场景，通过智能搜索与反馈机制提升调优效率，显著降低人力成本。自动化、高精度、易集成，值得收藏并点击了解。
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 8万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
Llama-Factory训练监控系统详解：实时追踪Loss与Accuracy
weixin_35294091的博客
12-11 594
本文深入解析Llama-Factory的训练监控系统，涵盖Loss与Accuracy的实时追踪机制。通过TrainerCallback采集指标，Gradio实现WebUI可视化，并在分布式环境下利用all_reduce保证数据一致性。系统支持主动干预、过拟合预警与团队协作，显著提升大模型微调效率与透明度。
手把手教你构建最优微调流程，Open-AutoGLM实战调参经验全公开
ByteGlow的博客
12-20 950
掌握高效模型调优方法，本文详解Open-AutoGLM 模型微调优化路径，覆盖参数设置、训练策略与典型应用场景。分享实战调参技巧，提升模型性能，流程清晰可复用，值得收藏。
Markdown表格整理lora-scripts参数对照清单
weixin_35755188的博客
01-02 997
掌握lora-scripts工具包，轻松实现图像与文本生成模型的高效微调。通过自动化标注、YAML配置驱动和低秩适配技术，普通开发者也能在消费级GPU上完成专属风格模型训练，显著降低AI定制门槛。
梯度下降艺术：如何巧妙选择Mini-batch批量大小并避免陷阱
梯度下降是一种迭代优化算法，广泛用于机器学习和深度学习中的模型参数调整。基本思想是：通过计算损失函数关于模型参数的梯度，沿着梯度的反方向（即梯度下降的方向）进行参数更新，逐步逼近最小化损失函数的目标。...
[IMX] 06.内存 - DDR
毛线
05-19 1230
DDR 内存
生产级调参秘籍：Autoformer从实验室到线上部署的10大关键配置
# Autoformer实战指南：从理论到高可用生产系统的全链路构建 你有没有经历过这样的时刻？——实验室里，Autoformer在ETTh1上跑出0.416的MAE，曲线漂亮得像艺术品；可一上线，预测值突然“抽风”，客服电话响个不停...
pytorch—多GPU使用
ARYAD的博客
03-31 9920
文章目录单机多卡显卡编号调用全部显卡调用指定编号显卡1. os.environ[“CUDA_VISIBLE_DEVICES”]详解2. torch.cuda主要函数3.关于unet分割一段指定gpu代码多机多卡 单机多卡 单机多卡情况一般有，单机双卡或者八卡比较常见。一般通过nvidia-smi查看gpu的规格和使用情况。gpu会被编上序号：[0,1,2,3,4,5,6,7]等。 显卡编号 在默认情况下，标号为0的显卡为主卡 增加其他显卡为主卡语句： os.environ["CUDA_VISIBLE_D
pytorch 提高gpu利用率
ARYAD的博客
04-08 7294
pytorch跑Unet代码，gpu利用率在0%-20%闪现，主要问题是GPU一直在等cpu处理的数据传输过去。利用top查看cup的利用率也是从0省道100%且显然cup的线程并不多，能处理出的数据也不多。在一般的程序中，除了加载从dataloader中数据和model的运行需要gpu，其余更多的dataset、dataloader、loss的计算和日志的输出很多部分都需要cup的计算。 所以，可以提升的方面包括 从class dataset的优化、dataloader的优化和其他部分代码的优化。当然代码
调试parser.parse_args 出现systemexit 2解决方案
ARYAD的博客
04-17 6836
在使用parser过程中经常遇到 parser.parse_args 出现systemexit 2 具体如下： parser = argparse.ArgumentParser() # model arguments parser.add_argument('--img_size', type=int, default=256, help='Image resolution') args = parser.parse_args() vscode
Unet语义分割dice提升
ARYAD的博客
04-08 6204
初次复现 Medical Image Synthesis for Data Augmentation and Anonymization using Generative Adversarial Networks文章，但是并没有用pix2pix的分割模型，而是使用Unet分割利用pix2pix合成的brats数据集。但是发现原本的Unet模型bceloss效果并不好，val的dice值很低。就开始踏上了炼丹之路。 论文地址:https://arxiv.org/abs/1807.10225 1.学习率 找到最
Pytorch多GPU和Sync BatchNorm代码
ARYAD的博客
06-17 2392
由于复现spade的过程中遇到了一些GPU的问题，所以决定好好理解一下DPL 代码问题 终端显示暂行不动，并没有报错。GPU没有加载进程，同时CPU也没有动。 考虑可能是DPL的问题。由于代码中使用了Sync BatchNorm，考虑到可能是DPL的问题。 nn.DataParallel 在forward阶段，当前GPU上的module会被复制到其他GPU上，输入数据则会被切分，分别传到不同的GPU上进行计算；在backward阶段，每个GPU上的梯度会被求和并传回当前GPU上，并更新参数。也就是复制mo
YOLO模型：16系显卡用户关闭amp和half后指标恢复（引用[4]）。 关闭了，没用啊 (ultralytics) C:\Users\86187\ultralytics-8.1.0>C:/Users/86187/miniconda3/envs/ultralytics/python.exe c:/Users/86187/ultralytics-8.1.0/tarin.py from n params module arguments 0 -1 1 464 ultralytics.nn.modules.conv.Conv [3, 16, 3, 2] 1 -1 1 4672 ultralytics.nn.modules.conv.Conv [16, 32, 3, 2] 2 -1 1 7360 ultralytics.nn.modules.block.C2f [32, 32, 1, True] 3 -1 1 18560 ultralytics.nn.modules.conv.Conv [32, 64, 3, 2] 4 -1 2 49664 ultralytics.nn.modules.block.C2f [64, 64, 2, True] 5 -1 1 73984 ultralytics.nn.modules.conv.Conv [64, 128, 3, 2] 6 -1 2 197632 ultralytics.nn.modules.block.C2f [128, 128, 2, True] 7 -1 1 295424 ultralytics.nn.modules.conv.Conv [128, 256, 3, 2] 8 -1 1 460288 ultralytics.nn.modules.block.C2f [256, 256, 1, True] 9 -1 1 8210 ultralytics.nn.Attention.CBAM.CBAM [256, 3] 10 -1 1 164608 ultralytics.nn.modules.block.SPPF [256, 256, 5] 11 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest'] 12 [-1, 6] 1 0 ultralytics.nn.modules.conv.Concat [1] 13 -1 1 148224 ultralytics.nn.modules.block.C2f [384, 128, 1] 14 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest'] 15 [-1, 4] 1 0 ultralytics.nn.modules.conv.Concat [1] 16 -1 1 37248 ultralytics.nn.modules.block.C2f [192, 64, 1] 17 -1 1 36992 ultralytics.nn.modules.conv.Conv [64, 64, 3, 2] 18 [-1, 13] 1 0 ultralytics.nn.modules.conv.Concat [1] 19 -1 1 123648 ultralytics.nn.modules.block.C2f [192, 128, 1] 20 -1 1 147712 ultralytics.nn.modules.conv.Conv [128, 128, 3, 2] 21 [-1, 10] 1 0 ultralytics.nn.modules.conv.Concat [1] 22 -1 1 493056 ultralytics.nn.modules.block.C2f [384, 256, 1] 23 [16, 19, 22] 1 751702 ultralytics.nn.modules.head.Detect [2, [64, 128, 256]] YOLOv8n-CBAM summary: 236 layers, 3019448 parameters, 3019432 gradients, 8.2 GFLOPs New https://pypi.org/project/ultralytics/8.3.174 available 😃 Update with 'pip install -U ultralytics' Ultralytics YOLOv8.1.0 🚀 Python-3.9.23 torch-1.12.1+cu116 CUDA:0 (NVIDIA GeForce GTX 1650, 4096MiB) WARNING ⚠️ Upgrade to torch>=2.0.0 for deterministic training. engine\trainer: task=detect, mode=train, model=C:\Users\86187\ultralytics-8.1.0\ultralytics\cfg\models\v8\yolov8n-CBAM.yaml, data=C:\Users\86187\ultralytics-8.1.0\tomato_train.yaml, epochs=5, time=None, patience=50, batch=16, imgsz=640, save=True, save_period=-1, cache=False, device=None, workers=0, project=None, name=train17, exist_ok=False, pretrained=True, optimizer=auto, verbose=True, seed=0, deterministic=True, single_cls=False, rect=False, cos_lr=False, close_mosaic=10, resume=None, amp=False, fraction=1.0, profile=False, freeze=None, multi_scale=False, overlap_mask=True, mask_ratio=4, dropout=0.0, val=True, split=val, save_json=False, save_hybrid=False, conf=None, iou=0.7, max_det=300, half=False, dnn=False, plots=True, source=None, vid_stride=1, stream_buffer=False, visualize=False, augment=False, agnostic_nms=False, classes=None, retina_masks=False, embed=None, show=False, save_frames=False, save_txt=False, save_conf=False, save_crop=False, show_labels=True, show_conf=True, show_boxes=True, line_width=None, format=torchscript, keras=False, optimize=False, int8=False, dynamic=False, simplify=False, opset=None, workspace=4, nms=False, lr0=0.01, lrf=0.01, momentum=0.937, weight_decay=0.0005, warmup_epochs=3.0, warmup_momentum=0.8, warmup_bias_lr=0.1, box=7.5, cls=0.5, dfl=1.5, pose=12.0, kobj=1.0, label_smoothing=0.0, nbs=64, hsv_h=0.015, hsv_s=0.7, hsv_v=0.4, degrees=0.0, translate=0.1, scale=0.5, shear=0.0, perspective=0.0, flipud=0.0, fliplr=0.5, mosaic=1.0, mixup=0.0, copy_paste=0.0, auto_augment=randaugment, erasing=0.4, crop_fraction=1.0, cfg=None, tracker=botsort.yaml, save_dir=runs\detect\train17 from n params module arguments 0 -1 1 464 ultralytics.nn.modules.conv.Conv [3, 16, 3, 2] 1 -1 1 4672 ultralytics.nn.modules.conv.Conv [16, 32, 3, 2] 2 -1 1 7360 ultralytics.nn.modules.block.C2f [32, 32, 1, True] 3 -1 1 18560 ultralytics.nn.modules.conv.Conv [32, 64, 3, 2] 4 -1 2 49664 ultralytics.nn.modules.block.C2f [64, 64, 2, True] 5 -1 1 73984 ultralytics.nn.modules.conv.Conv [64, 128, 3, 2] 6 -1 2 197632 ultralytics.nn.modules.block.C2f [128, 128, 2, True] 7 -1 1 295424 ultralytics.nn.modules.conv.Conv [128, 256, 3, 2] 8 -1 1 460288 ultralytics.nn.modules.block.C2f [256, 256, 1, True] 9 -1 1 8210 ultralytics.nn.Attention.CBAM.CBAM [256, 3] 10 -1 1 164608 ultralytics.nn.modules.block.SPPF [256, 256, 5] 11 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest'] 12 [-1, 6] 1 0 ultralytics.nn.modules.conv.Concat [1] 13 -1 1 148224 ultralytics.nn.modules.block.C2f [384, 128, 1] 14 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest'] 15 [-1, 4] 1 0 ultralytics.nn.modules.conv.Concat [1] 16 -1 1 37248 ultralytics.nn.modules.block.C2f [192, 64, 1] 17 -1 1 36992 ultralytics.nn.modules.conv.Conv [64, 64, 3, 2] 18 [-1, 13] 1 0 ultralytics.nn.modules.conv.Concat [1] 19 -1 1 123648 ultralytics.nn.modules.block.C2f [192, 128, 1] 20 -1 1 147712 ultralytics.nn.modules.conv.Conv [128, 128, 3, 2] 21 [-1, 10] 1 0 ultralytics.nn.modules.conv.Concat [1] 22 -1 1 493056 ultralytics.nn.modules.block.C2f [384, 256, 1] 23 [16, 19, 22] 1 751702 ultralytics.nn.modules.head.Detect [2, [64, 128, 256]] YOLOv8n-CBAM summary: 236 layers, 3019448 parameters, 3019432 gradients, 8.2 GFLOPs TensorBoard: Start with 'tensorboard --logdir runs\detect\train17', view at http://localhost:6006/ Freezing layer 'model.23.dfl.conv.weight' train: Scanning C:\Users\86187\ultralytics-8.1.0\datasets\tomato\labels\train.cache... 392 images, 0 backgrounds, 0 corrupt: 100%|██████████| val: Scanning C:\Users\86187\ultralytics-8.1.0\datasets\tomato\labels\val.cache... 128 images, 0 backgrounds, 0 corrupt: 100%|██████████| 128/ Plotting labels to runs\detect\train17\labels.jpg... optimizer: 'optimizer=auto' found, ignoring 'lr0=0.01' and 'momentum=0.937' and determining best 'optimizer', 'lr0' and 'momentum' automatically... optimizer: AdamW(lr=0.001667, momentum=0.9) with parameter groups 57 weight(decay=0.0), 67 weight(decay=0.0005), 63 bias(decay=0.0) 5 epochs... Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 1/5 3.65G 4.558 4.098 4.315 411 640: 4%|▍ | 1/25 [00:08<03:35, 8.98s/it] Traceback (most recent call last): File "c:\Users\86187\ultralytics-8.1.0\tarin.py", line 17, in <module> results = model.train(data=r'C:\Users\86187\ultralytics-8.1.0\tomato_train.yaml', File "c:\Users\86187\ultralytics-8.1.0\ultralytics\engine\model.py", line 390, in train self.trainer.train() File "c:\Users\86187\ultralytics-8.1.0\ultralytics\engine\trainer.py", line 208, in train self._do_train(world_size) File "c:\Users\86187\ultralytics-8.1.0\ultralytics\engine\trainer.py", line 379, in _do_train self.loss, self.loss_items = self.model(batch) File "C:\Users\86187\miniconda3\envs\ultralytics\lib\site-packages\torch\nn\modules\module.py", line 1130, in _call_impl return forward_call(*input, **kwargs) File "c:\Users\86187\ultralytics-8.1.0\ultralytics\nn\tasks.py", line 81, in forward return self.loss(x, *args, **kwargs) File "c:\Users\86187\ultralytics-8.1.0\ultralytics\nn\tasks.py", line 260, in loss return self.criterion(preds, batch) File "c:\Users\86187\ultralytics-8.1.0\ultralytics\utils\loss.py", line 220, in __call__ _, target_bboxes, target_scores, fg_mask, _ = self.assigner( File "C:\Users\86187\miniconda3\envs\ultralytics\lib\site-packages\torch\nn\modules\module.py", line 1130, in _call_impl return forward_call(*input, **kwargs) File "C:\Users\86187\miniconda3\envs\ultralytics\lib\site-packages\torch\autograd\grad_mode.py", line 27, in decorate_context return func(*args, **kwargs) File "c:\Users\86187\ultralytics-8.1.0\ultralytics\utils\tal.py", line 72, in forward mask_pos, align_metric, overlaps = self.get_pos_mask( File "c:\Users\86187\ultralytics-8.1.0\ultralytics\utils\tal.py", line 92, in get_pos_mask mask_in_gts = self.select_candidates_in_gts(anc_points, gt_bboxes) File "c:\Users\86187\ultralytics-8.1.0\ultralytics\utils\tal.py", line 227, in select_candidates_in_gts bbox_deltas = torch.cat((xy_centers[None] - lt, rb - xy_centers[None]), dim=2).view(bs, n_boxes, n_anchors, -1) RuntimeError: CUDA out of memory. Tried to allocate 158.00 MiB (GPU 0; 4.00 GiB total capacity; 3.25 GiB already allocated; 0 bytes free; 3.45 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF (ultralytics) C:\Users\86187\ultralytics-8.1.0>C:/Users/86187/miniconda3/envs/ultralytics/python.exe c:/Users/86187/ultralytics-8.1.0/tarin.py from n params module arguments 0 -1 1 464 ultralytics.nn.modules.conv.Conv [3, 16, 3, 2] 1 -1 1 4672 ultralytics.nn.modules.conv.Conv [16, 32, 3, 2] 2 -1 1 7360 ultralytics.nn.modules.block.C2f [32, 32, 1, True] 3 -1 1 18560 ultralytics.nn.modules.conv.Conv [32, 64, 3, 2] 4 -1 2 49664 ultralytics.nn.modules.block.C2f [64, 64, 2, True] 5 -1 1 73984 ultralytics.nn.modules.conv.Conv [64, 128, 3, 2] 6 -1 2 197632 ultralytics.nn.modules.block.C2f [128, 128, 2, True] 7 -1 1 295424 ultralytics.nn.modules.conv.Conv [128, 256, 3, 2] 8 -1 1 460288 ultralytics.nn.modules.block.C2f [256, 256, 1, True] 9 -1 1 8210 ultralytics.nn.Attention.CBAM.CBAM [256, 3] 10 -1 1 164608 ultralytics.nn.modules.block.SPPF [256, 256, 5] 11 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest'] 12 [-1, 6] 1 0 ultralytics.nn.modules.conv.Concat [1] 13 -1 1 148224 ultralytics.nn.modules.block.C2f [384, 128, 1] 14 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest'] 15 [-1, 4] 1 0 ultralytics.nn.modules.conv.Concat [1] 16 -1 1 37248 ultralytics.nn.modules.block.C2f [192, 64, 1] 17 -1 1 36992 ultralytics.nn.modules.conv.Conv [64, 64, 3, 2] 18 [-1, 13] 1 0 ultralytics.nn.modules.conv.Concat [1] 19 -1 1 123648 ultralytics.nn.modules.block.C2f [192, 128, 1] 20 -1 1 147712 ultralytics.nn.modules.conv.Conv [128, 128, 3, 2] 21 [-1, 10] 1 0 ultralytics.nn.modules.conv.Concat [1] 22 -1 1 493056 ultralytics.nn.modules.block.C2f [384, 256, 1] 23 [16, 19, 22] 1 751702 ultralytics.nn.modules.head.Detect [2, [64, 128, 256]] YOLOv8n-CBAM summary: 236 layers, 3019448 parameters, 3019432 gradients, 8.2 GFLOPs New https://pypi.org/project/ultralytics/8.3.174 available 😃 Update with 'pip install -U ultralytics' Ultralytics YOLOv8.1.0 🚀 Python-3.9.23 torch-1.12.1+cu116 CUDA:0 (NVIDIA GeForce GTX 1650, 4096MiB) WARNING ⚠️ Upgrade to torch>=2.0.0 for deterministic training. engine\trainer: task=detect, mode=train, model=C:\Users\86187\ultralytics-8.1.0\ultralytics\cfg\models\v8\yolov8n-CBAM.yaml, data=C:\Users\86187\ultralytics-8.1.0\tomato_train.yaml, epochs=5, time=None, patience=50, batch=8, imgsz=640, save=True, save_period=-1, cache=False, device=None, workers=0, project=None, name=train18, exist_ok=False, pretrained=True, optimizer=auto, verbose=True, seed=0, deterministic=True, single_cls=False, rect=False, cos_lr=False, close_mosaic=10, resume=None, amp=False, fraction=1.0, profile=False, freeze=None, multi_scale=False, overlap_mask=True, mask_ratio=4, dropout=0.0, val=True, split=val, save_json=False, save_hybrid=False, conf=None, iou=0.7, max_det=300, half=False, dnn=False, plots=True, source=None, vid_stride=1, stream_buffer=False, visualize=False, augment=False, agnostic_nms=False, classes=None, retina_masks=False, embed=None, show=False, save_frames=False, save_txt=False, save_conf=False, save_crop=False, show_labels=True, show_conf=True, show_boxes=True, line_width=None, format=torchscript, keras=False, optimize=False, int8=False, dynamic=False, simplify=False, opset=None, workspace=4, nms=False, lr0=0.01, lrf=0.01, momentum=0.937, weight_decay=0.0005, warmup_epochs=3.0, warmup_momentum=0.8, warmup_bias_lr=0.1, box=7.5, cls=0.5, dfl=1.5, pose=12.0, kobj=1.0, label_smoothing=0.0, nbs=64, hsv_h=0.015, hsv_s=0.7, hsv_v=0.4, degrees=0.0, translate=0.1, scale=0.5, shear=0.0, perspective=0.0, flipud=0.0, fliplr=0.5, mosaic=1.0, mixup=0.0, copy_paste=0.0, auto_augment=randaugment, erasing=0.4, crop_fraction=1.0, cfg=None, tracker=botsort.yaml, save_dir=runs\detect\train18 from n params module arguments 0 -1 1 464 ultralytics.nn.modules.conv.Conv [3, 16, 3, 2] 1 -1 1 4672 ultralytics.nn.modules.conv.Conv [16, 32, 3, 2] 2 -1 1 7360 ultralytics.nn.modules.block.C2f [32, 32, 1, True] 3 -1 1 18560 ultralytics.nn.modules.conv.Conv [32, 64, 3, 2] 4 -1 2 49664 ultralytics.nn.modules.block.C2f [64, 64, 2, True] 5 -1 1 73984 ultralytics.nn.modules.conv.Conv [64, 128, 3, 2] 6 -1 2 197632 ultralytics.nn.modules.block.C2f [128, 128, 2, True] 7 -1 1 295424 ultralytics.nn.modules.conv.Conv [128, 256, 3, 2] 8 -1 1 460288 ultralytics.nn.modules.block.C2f [256, 256, 1, True] 9 -1 1 8210 ultralytics.nn.Attention.CBAM.CBAM [256, 3] 10 -1 1 164608 ultralytics.nn.modules.block.SPPF [256, 256, 5] 11 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest'] 12 [-1, 6] 1 0 ultralytics.nn.modules.conv.Concat [1] 13 -1 1 148224 ultralytics.nn.modules.block.C2f [384, 128, 1] 14 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest'] 15 [-1, 4] 1 0 ultralytics.nn.modules.conv.Concat [1] 16 -1 1 37248 ultralytics.nn.modules.block.C2f [192, 64, 1] 17 -1 1 36992 ultralytics.nn.modules.conv.Conv [64, 64, 3, 2] 18 [-1, 13] 1 0 ultralytics.nn.modules.conv.Concat [1] 19 -1 1 123648 ultralytics.nn.modules.block.C2f [192, 128, 1] 20 -1 1 147712 ultralytics.nn.modules.conv.Conv [128, 128, 3, 2] 21 [-1, 10] 1 0 ultralytics.nn.modules.conv.Concat [1] 22 -1 1 493056 ultralytics.nn.modules.block.C2f [384, 256, 1] 23 [16, 19, 22] 1 751702 ultralytics.nn.modules.head.Detect [2, [64, 128, 256]] YOLOv8n-CBAM summary: 236 layers, 3019448 parameters, 3019432 gradients, 8.2 GFLOPs TensorBoard: Start with 'tensorboard --logdir runs\detect\train18', view at http://localhost:6006/ Freezing layer 'model.23.dfl.conv.weight' train: Scanning C:\Users\86187\ultralytics-8.1.0\datasets\tomato\labels\train.cache... 392 images, 0 backgrounds, 0 corrupt: 100%|██████████| val: Scanning C:\Users\86187\ultralytics-8.1.0\datasets\tomato\labels\val.cache... 128 images, 0 backgrounds, 0 corrupt: 100%|██████████| 128/ Plotting labels to runs\detect\train18\labels.jpg... optimizer: 'optimizer=auto' found, ignoring 'lr0=0.01' and 'momentum=0.937' and determining best 'optimizer', 'lr0' and 'momentum' automatically... optimizer: AdamW(lr=0.001667, momentum=0.9) with parameter groups 57 weight(decay=0.0), 67 weight(decay=0.0005), 63 bias(decay=0.0) 5 epochs... Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 1/5 2.02G 4.28 3.798 4.17 231 640: 100%|██████████| 49/49 [01:28<00:00, 1.81s/it] Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 8/8 [00:29<00:00, 3.71s/it] all 128 1976 0 0 0 0 Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 2/5 2G 3.658 2.893 3.676 213 640: 100%|██████████| 49/49 [01:25<00:00, 1.74s/it] Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 8/8 [00:28<00:00, 3.58s/it] all 128 1976 0 0 0 0 Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 3/5 2.01G 2.895 2.494 3.126 109 640: 100%|██████████| 49/49 [01:26<00:00, 1.76s/it] Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 8/8 [00:30<00:00, 3.87s/it] all 128 1976 0 0 0 0 Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 4/5 2.25G 2.666 2.218 2.636 240 640: 100%|██████████| 49/49 [01:26<00:00, 1.76s/it] Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 8/8 [00:28<00:00, 3.61s/it] all 128 1976 0 0 0 0
08-07
<think>我们正在处理用户训练YOLOv8模型（带CBAM模块）时遇到的问题：训练指标（Precision、Recall、mAP）始终为0，且关闭自动混合精度(amp)和半精度(half)后问题依旧存在，同时还有CUDA内存不足的问题。 根据引用[1]中的信息，曾经有一个版本（20230916-yolov8-v1.19）去除了OREPA_1x1结构，因为该结构会导致模型无法收敛或出现NaN。虽然用户没有明确提到使用该结构，但我们可以考虑是否模型结构修改（如CBAM模块）导致了类似问题。 另外，引用[2]提到了核心依赖库的版本要求，包括PyTorch、TorchVision、CUDA、cuDNN和NCCL。版本不匹配也可能导致训练异常。 结合用户的问题，我们分析可能的原因和解决方案如下： ### 1. **模型结构问题（重点排查）** - **CBAM模块实现错误**：用户自定义的CBAM模块可能存在实现错误，导致梯度无法传播或输出异常。这可能是训练指标全零的主要原因。 - 检查CBAM模块的代码，确保注意力机制（通道注意力和空间注意力）正确实现。 - 确保CBAM模块的输出与原始特征图尺寸一致，且没有破坏原始特征。 - **模型结构不兼容**：CBAM模块插入的位置可能不当，导致模型无法学习有效的特征表示。 - 尝试将CBAM模块放置在YOLOv8的不同位置（如Backbone末端、Neck中）进行测试。 ### 2. **数据问题** - **标签错误**：验证集标签缺失或格式错误会导致评估指标为零。检查验证集标注文件是否存在，以及格式是否正确（YOLO格式要求每个图像对应一个.txt文件，每行一个目标，格式为`class_id center_x center_y width height`，归一化到0~1）。 - **数据路径配置错误**：在`data.yaml`文件中，验证集路径（`val`）可能指向了错误的目录或空目录。检查路径配置。 ### 3. **训练配置问题** - **学习率设置**：学习率过高可能导致模型发散，过低则导致模型不更新。尝试使用默认学习率或进行学习率搜索。 - **批次大小（Batch Size）**：CUDA内存不足可能是由于批次过大。减小批次大小（如从16减小到8或4）可以缓解内存问题，但可能影响训练稳定性。同时，确保在减小批次大小时按比例调整学习率（如批次减半，学习率也减半）。 - **关闭AMP和Half无效**：虽然用户已关闭AMP和Half，但问题依旧，说明根本原因不在混合精度。但我们可以尝试进一步关闭其他可能导致问题的设置： - 在训练命令中设置`amp=False`和`half=False`（确保已生效）。 - 检查是否有其他第三方库（如Apex）干扰了精度设置。 ### 4. **环境问题** - **CUDA内存不足**：这会导致训练中断或跳过部分计算，从而影响指标。解决方案： - 减小输入图像尺寸（`imgsz`）。 - 减小批次大小（`batch`）。 - 使用更小的模型（如YOLOv8s而不是YOLOv8m/x）。 - 启用梯度累积（`gradient_accumulation_steps`）模拟更大的批次而不增加内存占用。 - **依赖库版本**：确保满足引用[2]中的版本要求，尤其是PyTorch、CUDA和cuDNN的版本兼容性。使用以下命令检查： ```bash pip list | grep torch nvcc --version ``` 如果版本不匹配，重新安装匹配的版本。 ### 5. **评估过程问题** - **验证集IoU阈值过高**：默认mAP50使用0.5的IoU阈值。如果模型定位能力极差（如预测框全部偏离目标），则所有预测都被视为假阳性（FP），导致指标为零。尝试降低验证时的IoU阈值（如0.3）观察是否改善。 - **评估代码错误**：如果用户自定义了评估流程，可能存在逻辑错误。建议使用YOLO官方内置的验证方法。 ### 逐步排查流程 1. **验证数据**： - 使用官方YOLOv8预训练模型（不带CBAM）在验证集上运行验证，观察指标是否正常。如果正常，则问题在模型结构；如果也不正常，则问题在数据或环境。 ```python from ultralytics import YOLO model = YOLO('yolov8n.pt') # 加载官方预训练模型 results = model.val(data='data.yaml') # 验证 ``` 2. **简化模型**： - 移除CBAM模块，用原始YOLOv8训练。若指标恢复，则问题在CBAM实现。 - 若移除后问题依旧，则检查数据配置和训练超参数。 3. **小规模测试**： - 使用一个小型数据集（如10张图片）训练1个epoch，快速验证训练流程是否正常。同时监控损失值变化： - 如果损失值下降，说明模型在学习，评估指标为零可能是评估过程的问题。 - 如果损失值不变或为NaN，则检查模型结构和优化器。 4. **内存优化**： - 针对CUDA内存不足，尝试以下方法： - 设置`imgsz=320`（更小的图像尺寸）。 - 设置`batch=4`（更小的批次大小）。 - 在训练命令中添加`workers=0`以避免数据加载时的内存问题。 5. **监控训练日志**： - 检查训练过程中每个epoch的损失值（box_loss, cls_loss, dfl_loss）是否在下降。如果损失值不下降，可能是模型没有学习。 ### 示例：训练命令调整 ```bash yolo train model=yolov8n.yaml data=data.yaml epochs=100 imgsz=320 batch=4 amp=False half=False workers=0 ``` ### 相关问题 1. 如何在YOLOv8中正确集成CBAM注意力模块？ 2. 训练YOLO模型时遇到CUDA out of memory错误有哪些解决方法？ 3. YOLOv8模型训练中损失值不下降可能的原因有哪些？ 4. 如何验证目标检测数据集的标注是否正确？ 5. 不同版本的PyTorch和CUDA对YOLO训练有什么影响？如何选择匹配的版本？[^2]</think>针对您在训练YOLOv8模型（带CBAM模块）时遇到的训练指标全零（Precision/Recall/mAP=0）且关闭AMP/Half无效、同时存在CUDA内存不足问题，结合引用[1][2]信息，以下是系统性解决方案： ### 一、核心问题诊断 1. **CBAM模块兼容性问题** - CBAM的通道/空间注意力层可能与YOLOv8的检测头存在梯度冲突，导致输出异常（表现为全零指标）[^1] - 验证方法：移除CBAM后训练1个epoch，若指标恢复则确认模块冲突 2. **内存不足引发计算中断** - CUDA内存不足会导致部分梯度计算被跳过，使模型无法更新权重 - 典型表现：`box_loss`/`cls_loss`在2-3之间波动但不下降（正常应快速降至1以下） 3. **依赖库版本冲突** - 引用[2]要求：PyTorch≥1.12.0 + CUDA≥11.3 + cuDNN≥8.2.0 - 版本不匹配会导致AMP异常（即使关闭设置仍可能生效） --- ### 二、优先级解决方案 #### 步骤1：解决内存问题（立即生效） ```bash # 训练命令调整（关键参数） yolo train \ model=yolov8n-CBAM.yaml \ # 模型配置 data=data.yaml \ imgsz=480 \ # 降低分辨率 batch=8 \ # 减小批次大小 workers=2 \ # 减少数据加载进程 amp=False \ # 强制关闭AMP half=False \ # 强制关闭FP16 device=0 # 指定单卡训练 ``` **参数优化依据**： - `imgsz`从640→480可减少40%显存占用 - `batch`减小配合`gradient_accumulation=2`模拟原批次 - 设置`workers=2`避免DataLoader内存泄漏 #### 步骤2：验证CBAM兼容性（关键测试） ```python from ultralytics import YOLO # 测试1：原始模型验证 model = YOLO('yolov8n.pt') metrics = model.val(data='coco.yaml') # 记录mAP50 # 测试2：CBAM模型验证 model = YOLO('yolov8n-CBAM.pt') metrics_cbam = model.val(data='coco.yaml') # 对比指标 ``` - 若测试1正常而测试2全零 → **CBAM实现问题** - 若两者均异常 → **数据/环境问题** #### 步骤3：环境核验（版本匹配） ```python import torch print(f"PyTorch: {torch.__version__}, CUDA: {torch.version.cuda}") # 输出应为：PyTorch: 1.12.0+, CUDA: 11.3+ ``` - 不匹配时重装环境： ```bash pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 --extra-index-url https://download.pytorch.org/whl/cu113 ``` --- ### 三、CBAM模块专项调优 若确认CBAM导致问题，修改注意力层实现： ```python class CBAM(nn.Module): def __init__(self, c): super().__init__() # 通道注意力 - 修复梯度消失 self.channel_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(c, c//8, 1), # 添加降维层 nn.ReLU(), nn.Conv2d(c//8, c, 1), # 升维恢复 nn.Sigmoid() ) # 空间注意力 - 避免归一化错误 self.spatial_att = nn.Sequential( nn.Conv2d(2, 1, 7, padding=3), nn.BatchNorm2d(1), # 添加BN层稳定训练 nn.Sigmoid() ) ``` **修改重点**： 1. 通道注意力增加降维/升维结构防梯度爆炸 2. 空间注意力添加BN层稳定特征分布 3. 删除原实现中的LayerNorm（与YOLO架构冲突） --- ### 四、进阶内存优化策略 当显存<8GB时采用组合方案： 1. **梯度累积**（模拟大batch）： ```yaml # defaults.yaml gradient_accumulation_steps: 4 ``` 2. **激活检查点**（时间换空间）： ```python model.model.apply(lambda m: setattr(m, 'activation_checkpointing', True)) ``` 3. **优化器状态压缩**： ```python optimizer = torch.optim.AdamW(model.parameters(), betas=(0.9, 0.999), fused=True) # 启用fused优化器 ``` --- ### 五、验证方案设计 ```mermaid graph TD A[指标全零问题] --> B{显存是否不足？} B -->|是| C[应用内存优化方案] B -->|否| D[测试原始模型] D -->|正常| E[验证CBAM兼容性] D -->|异常| F[检查数据集/环境] E -->|CBAM导致| G[修改注意力实现] E -->|非CBAM问题| H[调整学习率/BN层] ``` > **关键验证点**：完成内存优化后，观察首个epoch的`box_loss`变化。正常情况应在10个iter内从>2降至<1.5，否则需检查数据流。 --- ### 相关问题 1. 如何在YOLOv8中正确实现CBAM注意力模块？[^1] 2. CUDA内存不足时有哪些高级优化技术？ 3. YOLO训练中哪些指标异常表明数据标注存在问题？ 4. PyTorch版本不匹配会导致哪些隐蔽错误？[^2] 5. 如何解读YOLO训练日志中的各类Loss曲线？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值