yolov5源码解读--数据处理模块

原创 已于 2023-02-20 23:57:32 修改 · 804 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#YOLO #目标检测 #深度学习

于 2023-02-20 23:54:02 首次发布
文章详细解读了Yolov5模型中的数据处理模块，包括加载图片和标签、马赛克数据增强技术，以及其他的图像变换如随机旋转、平移、缩放。在数据增强过程中，使用马赛克方法进行四图拼接，并调整标签位置。之后通过__getitem__构建Batch，对数据进行归一化处理，同时可能按比例进行无增强的数据处理。

yolov5源码解读--数据处理模块

加载数据

create_dataloader
在这里插入图片描述
跳转到datasets.py文件中，可以看到支持输入的文件类型非常丰富。。
在这里插入图片描述
回归正题
在这里插入图片描述
跳转LoadImagesAndLabels
加载图片和标签的函数

读取图片

在这里插入图片描述

f = []存储所有图片的路径
在这里插入图片描述
bi给当前数组做batch索引
nb就是所有的batch数目
在这里插入图片描述

加载标签

label_files所有标签的路径
cache_path、cache是缓存路径和缓存
在这里插入图片描述
cache
在这里插入图片描述
labels是按照文件名从cache中取出对应图片的标签，
在这里插入图片描述
在这里插入图片描述

extract_bounding_boxes 是否把框截取出来
create_datasubset、labels_loaded、extract_bounding_boxes和目标检测后续任务有关
在这里插入图片描述
nm, nf, ne, ns, nd = 0, 0, 0, 0, 0 # number missin

最低0.47元/天 解锁文章
目标检测的Tricks | 【Trick7】数据增强——Mosaic（马赛克）
Clichong
04-23 1万+
如有错误，恳请指出。 在之前的博客中也有提及到mosaic这种数据增强，然后用这篇博客来进行详细介绍。 文章目录1. Mosaic概要介绍2. Mosaic算法步骤3. Mosaic实现代码4. Mosaic代码说明 1. Mosaic概要介绍 mosaic是yolov4提出的一个tricks，其思路就是将四张图片进行随机裁剪，再拼接到一张图上作为训练数据。这样做的好处是丰富了图片的背景，并且四张图片拼接在一起变相地提高了batch_size，在进行batch normalization的时候也会计算四.
【YOLO系列】YOLOv5超详细解读（源码详解＋入门实践＋改进）
热门推荐
路人贾的博客
03-03 24万+
一文带你详细了解YOLOv5（含YOLO系列论文讲解+源码详解+入门实践+算法改进）
马赛克数据增强
最新发布
w000006的博客
10-24 686
首先创建基础图像 img4，其尺寸为 2s×2s（s 为单张小图的基准尺寸），通道数与输入小图保持一致（通常为 3 通道）。Mosaic 数据增强的核心功能是将 4 张随机选取的输入图像（小图），按特定规则拼接成一张 2s×2s 尺寸的大图（img4），同时同步调整每张图像中目标的标签坐标。拼接后需合并所有标签，并裁剪超出大图边界的无效坐标；Tensor（张量）是深度学习中数据的基本表示形式，本质是多维数组，可理解为向量（1 维）、矩阵（2 维）的高维扩展，支持自动微分、并行计算等核心操作。
计算机视觉 - 了解Mosaic数据增强
学以致用 知行合一
12-29 2251
一、简述数据增强包含各种扩展和增强机器学习和深度学习模型数据集的技术。这些方法跨越不同的类别，每种方法都会改变数据以引入多样性并提高模型的稳健性。几何变换（例如旋转、平移、缩放和翻转）会修改图像方向和结构。颜色和对比度调整会改变图像外观，包括亮度、对比度和颜色抖动变化。噪声注入（例如添加高斯噪声或椒盐噪声）会引入随机变化。剪切、滤除和混合技术（例如 Mixup 和 CutMix）会修改图像或其组件以创建新样本。此外，马赛克增强可以从多个原始图像构建合成图像，使数据全面多样化。
yolov5代码解读（一）
medusa_zj的博客
11-08 3858
yolov5代码解读（一）common.py部分普通卷积Conv深度可分离卷积DWConv跨尺度连接1---Bottleneck跨尺度连接2---BottleneckCSP跨尺度连接3---C3空间金字塔结构---SPPFocus结构 common.py部分 首先插入一张YOLOV5 结构图 普通卷积Conv 即图中CBL部分 class Conv(nn.Module): # Standard convolution def __init__(self, c1, c2, k=1, s=1
YoloV5代码详细解读
实力派，无需多言！
11-04 1967
本文重点描述开源代码实现的细节，不会对YoloV5的整体思路进行介绍，整体思路可以参考江大白的博客讲解的很细致，建议阅读之后再来看本篇文章。本文所使用的代码为2021-08-23日flok的官网YoloV5代码仓(又发现一篇还不错的介绍)
yolov5代码解读-dataset
m0_50294896的博客
10-01 3354
yolov5在数据处理这方面已经做的较为完善了，但是我现在遇到一个问题，就是我明明的是4通道的tiff数据，它用cv2.imread一下就给我读成3通道了。如果只是有个加载数据，我当然可以直接加个标志位解决，但是读取数据不止一个地方，后面还有画图等等操作，每个地方都要考虑，去看看它实际是怎么写的，读懂它，再修改它。 这里写目录标题加载数据设置标签缓存训练时实际加载数据 __getitem__马赛克增强第一部分：坐标计算第二部分：更新标签。第三部分：图像增强。图像增强第一部分：构建随机仿射矩阵并变换。第二部分
深度学习物体检测之YOLOV5源码解读
weixin_58351028的博客
12-15 1402
先打开common.py中的class BottleneckCSP中的代码，可看到模型BottleneckCSP的每一层定义(如conv,conv2d,batchnorm2d,leakyrelu,sequential)情况(__init__)，然后计算的forward方法(主要是对__init__定义的各层之间进行怎样的先后计算,组合等)在forward_once方法中它会for每一个模型，然后会在common.py文件中调用相应的模型class，并进入这个类中的forward方法执行。
【YOLOV5-5.x 源码解读】yolo.py
qq_38253797的博客
08-23 2万+
目录前言0、导入需要的包和基本配置1、parse_model2、Detect3、Model总结 前言 源码： YOLOv5源码. 导航: 【YOLOV5-5.0 源码讲解】整体项目文件导航. \qquad这个模块是yolov5的模型搭建模块，非常的重要，不过代码量并不大，不是很难，只是yolov5的作者把封装的太好了，模型扩展了很多的额外的功能，导致看起来很难，其实真正有用的代码不多的。重点是抓住三个函数是在哪里调用的，谁调用谁的，理解这个应该就不会很难。 0、导入需要的包和基本配置 import argp
yolov5代码解读-网络架构
m0_50294896的博客
10-03 6755
目录前言网络架构可视化可视化工具(1)netron(2)onnx配置文件解读网络层网络架构代码yolo.pymodelparse_modelcommon.pyConvfocusBottleneckCSPSPPUpsample 前言 之前解读了yolov5的数据处理模块：yolov5代码解读-dataset 数据处理好之后，就来具体看看网络模型是怎么搭建的吧。 网络架构可视化 可视化工具 网络架构可视化工具netron的安装参考： (1)netron 可以看我之前写的netron安装和使用文章。 也可以直接下
yolov5 代码解读 --common.py
XiaoGShou的博客
05-28 9828
先从common.py学起，接下来的近期时间将会对yolov5的代码进行解析，以及对yolov5的网络结构进行解析。
yolov5源码解读
m0_72520808的博客
12-09 1793
yolov5源码解读
Yolov5代码解析(输入端、BackBone、Neck、输出端))
m0_62396648的博客
06-19 1万+
正负样本都是针对于算法经过处理生成的框，用于计算损失，而在预测过程和验证过程是没有这个概念的。正例用来使预测结果更靠近真实值的，负例用来使预测结果更远离除了真实值之外的值的。正负样本的比例最好为1：1到1：2左右，数量差距不能太悬殊，特别是正样本数量本来就不太多的情况下。如果负样本远多于正样本，则负样本会淹没正样本的损失，从而降低网络收敛的效率与检测精度。这就是目标检测中常见的正负样本不均衡问题，解决方案之一是增加正样本数。
yolov5代码解读-训练
m0_50294896的博客
10-04 8434
上两篇： yolov5代码解读-dataset yolov5代码解读-网络架构 前言： 目录前言：参数解读超参数hyp文件命令行参数训练流程训练前训练 yolov5的数据处理模块和网络架构已经写完了，做好了这些基础工作，就可以来训练了。 yolov5支持多种训练策略，例如单机单卡，单机多卡，多机多卡。 参数解读 超参数hyp文件 在训练之前，先看一下有哪些超参数。在yolov5工程里面有一个 data文件夹，里面有一个hyp.scratch.yaml文件，可以用写字板或者记事本打开。 上面这些参数默认就好，
yolov5--数据处理
Hoshea_sun的博客
12-18 3547
qqq
YOLOV5源码的详细解读
BeeGreen的博客
11-02 4485
(2 cos⁡ ⁣(2 x)+cos⁡ ⁣(x)) (cos⁡ ⁣(3 x)+cos⁡ ⁣(4 x))−(sin⁡ ⁣(2 x)+sin⁡ ⁣(x)) (3 sin⁡ ⁣(3 x)+4 sin⁡ ⁣(4 x)) \left(2\, \cos\!\left(2\, x\right) + \cos\!\left(x\right)\right)\, \left(\cos\!\left(3\, x\right) + \cos\!\left(4\, x\right)\right) - \left(\sin\!\lef
yolov5网络结构代码解读
weixin_41311686的博客
10-16 8206
yolov5已经很成熟了，作为一个拥有发展系列的检测器，它拥有足够的精度和满足现实中实时性要求，所以许多项目和比赛都能用的上，自己也拿来参加过比赛。YOLOv5针对不同大小的输入和网络深度宽度，主要分成了（n, s, m, l, x）和（n6, s6, m6, l6, x6），这些都在yolov5的项目代码的配置文件中有对应。其中随着版本的更新，里面也多了好多其他模块。这里，我主要用的是v6.0版本。这里对Yolov5的网络结构部分进行了总结，后续有时间，再对其他部分做总结。
YOLOv5-v6.0目标检测模型核心源码解析
本文围绕“YOLOv5-v6.0详解[源码]”这一标题和描述展开深入分析，系统性地解读该版本的核心架构设计、关键技术实现以及训练优化策略，结合标签“软件开发、软件包、源码、代码包”的语义背景，进一步揭示其作为开源...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值