YOLO序列版本和Deepstream的数据缩放预处理问题

原创 已于 2022-06-05 09:29:20 修改 · 1.3k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #Deepstream #yolov5 #yolo #darknet

于 2022-05-02 10:42:18 首次发布
博客探讨了在Deepstream框架中使用Yolov5模型时遇到的泛化能力问题。作者发现模型在新场景和不同摄像头角度下的表现不佳，主要原因是数据预处理的缩放填充方式与模型训练时的差异。Yolov5在训练时使用mosaic和mixup增强，而验证时采用Letterbox填充，Deepstream则使用固定填充方式。实验表明填充位置和颜色的差异显著影响检测精度。为解决此问题，提出了两个改进方案：一是调整验证阶段的数据处理方式以匹配Deepstream，二是训练时加入Deepstream填充方式的数据。

因为我们的项目使用Deepstream作为视频播放和模型推理的框架，经过前面解决若干模型转换上的问题和Deepstream内在的问题后，在同分布的测试集上，Deepstream里FP16量化模型的推理精度基本上和无量化版模型使用python调用的推理精度差不多了，可以说是基本无损了，但是近来拿到从未参与训练的场景和摄像头角度差异有点大的新的试点部署现场测试，泛化能力表现却比较差，在经过序列调查排除网络模型本身的问题后，发现几点原因：

1. 我们目前使用的yolov5-v6版模型比之前使用的yolov5旧版模型的泛化能力受数据预处理上的缩放填充方式的影响比较大;

2. Deepstream里数据的缩放填充预处理方式是把图片保持宽高比(aspect ratio)缩放到小于或等于640x640以内然后直接拷贝到640x640的buffer的上方，下侧以黑色填充的(我翻看了nvinfer插件的源码，实际上是事先创建640x640的0值缓冲区，将缩小的图片内容填到上方后，下方就相当于用黑色填充了)，所以不是标准的Letterbox方式，而且只提供了这种缩放填充方式，里面代码写死了的没得选；

3.yolo序列模型最初的版本是直接做resize后输入模型，后来AlexeyAB版的yolov3以及后来的pytorch版的yolov4和yolov5都是这样搞的: training时是直接resize原始图片到模型输入的尺寸或者在原始图片基础上做mosaic和mixup增强效果直接弄成了模型输入数据的尺寸(例如640x640)，也就根本不存在填充问题，而在validation时却是将输入图片先保持宽高比缩放到小于或等于640x640的范围内并将缩小了的图片放在待输入模型的图片数据mat的中央，上下两侧不足的部分用灰色(114,114,114)填充的，也就是标准的Letterbox缩放填充方式，也就是用Letterbox方式缩放填充后的图片作为输入模型的数据去选择最好的参数组合:

这样有点的搞法根据

最低0.47元/天 解锁文章
YOLO的全面综述：从YOLOv1到最新版本
AI浩
12-07 7664
YOLO已成为机器人、无人驾驶汽车和视频监控应用的核心实时目标检测系统。我们全面分析了YOLO的演变，研究了从原始YOLO到YOLOv8、YOLO-NAS和带有Transformer的YOLO的每次迭代的创新和贡献。我们首先描述了标准指标和后处理；然后，我们讨论了每个模型在网络架构和训练技巧方面的主要变化。最后，我们总结了YOLO开发的重要经验教训，并对其未来提出了看法，强调了增强实时目标检测系统的潜在研究方向。关键词YOLO·目标检测·深度学习·计算机视觉。
Jetson Nano 上的极限性能：YOLOv5 INT8 量化与多线程 DeepStream 部署人车跟踪模型小白教程
LXY_LOVE36的博客
08-19 304
摘要 本教程详细介绍了如何在Jetson Nano上通过INT8量化和多线程技术优化YOLOv5目标检测模型的性能。文章首先分析了Jetson Nano的性能瓶颈，包括GPU算力限制、内存带宽等问题，并提出了INT8量化和多线程处理两种优化方案。INT8量化通过降低模型精度换取计算速度和内存效率的提升，而多线程则用于处理多路视频流和解耦业务逻辑。教程深入解析了YOLOv5的后处理机制，解释了为何需要替换检测头并使用TensorRT自定义插件，并提供了详细的解码过程说明。通过本教程，读者可以掌握在资源受限的边
DeepStream: GPU加速海量视频数据智能处理
09-14
DeepStream: GPU加速海量视频数据智能处理 赖俊杰, 资深技术经理 NVIDIA 英伟达 DeepStream介绍PPT，13页
yolov4图像预处理--图像缩放并加上灰度条
DeepCBW的博客
04-14 2072
yolov4的图像数据预处理--随机缩放并加上灰度条
DeepStream-Yolo：高效部署YOLO模型的完整指南
最新发布
gitblog_01067的博客
11-26 465
DeepStream-Yolo是一个强大的开源项目，为开发者提供了在NVIDIA DeepStream平台上轻松集成各种YOLO模型的能力。该项目支持从YOLOv2到最新的YOLO11、YOLOv10等全系列模型，让实时目标检测变得简单高效。 ## 项目概述 DeepStream-Yolo专门针对NVIDIA DeepStream SDK设计，支持多个版本的DeepStream平台，包括8.0
关于yolov5后处理细节
weixin_43088933的博客
04-20 8955
近日做项目遇到yolov5后处理操作，有点记不太清楚，所以想记录下来，方便后期复习。 我们都知道，yolov5模型的输入三个feature map的集合，加上batch的维度，也就是三维张量，即[batch，(p3*p3+p4*p4+p5*p5)*3，4+conf+cls_num],模型输出的为相对于调整图片的xywh，然后后面就要进入后处理阶段。 后处理采用了两次阈值筛选，然后送入了nms处理。 两次筛选都用的是conf_thres,只有nms求IOU的时候采用的iou_thresh.
目标检测 YOLOv5 - 模型推理预处理 letterbox
二分掌柜的
10-21 6370
1080 * 1920 （height * width ）变 360 * 640 （height * width ）360 * 640 （height * width ）变 384 * 640 （height * width ）图片缩放到 360 * 640 （height * width ）就将 360 * 640 的图片 装进 640 * 640中。360 * 640 变成了 384 * 640。当模型输入 不必须 640 * 640 时。当模型输入是 640 * 640时。
YOLOV训练---------------答疑解惑
m0_69023493的博客
05-04 2744
你已经训练了一个YOLOv5模型来检测汽车，而现在想要在新的数据集上检测动物，那么你可以使用新的标签，如"dog"、"cat"、"horse"等，这些标签与汽车的标签有所不同，但是它们在形状和大小等方面与汽车具有一些相似性，可以帮助新模型更好地学习和预测。当你使用一个已经训练好的模型作为起点来训练一个新的模型时，可以在新的训练数据集上使用不同的标签。持续更新---------------------------------------------------------
Yolo 系列数据集的划分和预处理
05-10
嗯，用户现在想了解YOLO系列数据集的划分和预处理方法。首先，我需要回忆一下YOLO相关的数据处理流程。数据集的划分通常包括训练集、验证集和测试集，比例一般是70%、20%、10%或者类似的，但具体可能根据数据量调整...
用·java实现yolo算法，训练自己的数据 由浅入深代码集.docx
06-07
- **数据集处理**：创建和标注自有的数据集，进行数据增强，如旋转、缩放、翻转等，以增加模型的泛化能力。 - **训练循环**：编写训练代码，包含前向传播、计算损失、反向传播和权重更新等步骤。 - **评估和验证**：...
python工具方法 41 对VOC|YOLO格式的数据进行resize操作（VOC与YOLO数据相互转换）
a486259的博客
06-12 1347
在目标检测中，相比于yolo格式，voc格式和coco格式都使用绝对值描述boxes的size，这在多数据集融合时存在一定的缺陷。尤其是在存在超高清影像中（在数据集中存在超高清影像通常会使dataloader内存不够用，或导致数据加载卡顿），我们不能仅对图像进行resize操作（还需要同时对xml或json文件中描述的boxes进行等比例换算操作）。为此实现对yolo数据、voc数据的resize操作。对于yolo数据，可以直接对大图图像批量进行resize操作；
Yolov5目标检测自动标注生成xml
qq_36076110的博客
08-17 5517
修改detect.py如下： """Run inference with a YOLOv5 model on images, videos, directories, streams Usage: $ python path/to/detect.py --source path/to/img.jpg --weights yolov5s.pt --img 640 """ import argparse import sys import time from pathlib import Pat
Yolov5之矩形推理
m0_47026232的博客
04-30 2668
在Yolov5项目中，矩形推理是一种重要的技巧，减少了数据的冗余信息，可以在几乎没有精度损失的情况下，加快模型推理的速度。在本文中，我将对矩推理的原理以及源码部分进行介绍，以及我个人以前在学习过程中的一些思考，其实原理不难，主要就是把整个思路梳理清楚。
Jetson Nano（ 七）Deepstream yolov4
爬山的咸鱼
03-04 1114
Jetson Nano（ 八）Transfer Learning Toolkit （TLT）
Ultralytics YOLO 数据预处理技术指南：从标注数据到模型训练
gitblog_00080的博客
05-30 477
Ultralytics YOLO 数据预处理技术指南：从标注数据到模型训练 【免费下载链接】ultralytics ultralytics - 提供 YOLOv8 模型，用于目标检测、图像分割、姿态估计和图像分类，适合机器学习和计算机视觉领域的开发者。 ...
模型集成到Deepstream里后为何识别效果变差以及如何从Deepstream Infer Plugin里导出预处理过的用于模型推理的图片数据并使用TensorRT进行推理测试
XCCCCZ的博客
09-04 1483
在将模型集成到Deepstream Infer Plugin过程中可能会碰到这样那样的问题，其中一个困扰人的问题就是一个模型集成到Deepstream Infer Plugin后，模型推理时的精度下降，比不使用Deepstream而是直接使用python或者C++调用原始模型或者使用TensorRT API实现的模型的精度要差，两种方式使用同样的视频或图片和同样的模型engine文件，模型在Deepstream Infer Plugin里的表现要差一些，经过很多次的调查和实验，可以确定这个问题和...
YOLOv5 输入矩形图片的resize结果
weixin_61973203的博客
04-05 3420
YOLOv5 输入矩形图片的resize结果——长边resize到640或设定的尺寸，短边按比例取32的整数倍
DeepStream系列之YOLOX调用
ZONGXP的博客
09-28 1131
deepstream调用yolox的方法
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Arnold-FY-Chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值