YOLOv5：修改backbone为SPD-Conv

最新推荐文章于 2024-08-09 02:40:43 发布
原创 最新推荐文章于 2024-08-09 02:40:43 发布 · 1.3k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#YOLO #人工智能 #深度学习 #神经网络 #目标检测

本文介绍了如何在YOLOv5中将backbone替换为SPD-Conv，涉及common.py和yolo.py的修改，以及yolov5.yaml配置的调整，旨在提升小物体检测性能。作者提供了Python代码示例和参考资料链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

YOLOv5：修改backbone为SPD-Conv

在这里插入图片描述

前言

前提条件

相关介绍

  • Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。
  • PyTorch 是一个深度学习框架，封装好了很多网络和深度学习相关的工具方便我们调用，而不用我们一个个去单独写了。它分为 CPU 和 GPU 版本，其他框架还有 TensorFlow、Caffe 等。PyTorch 是由 Facebook 人工智能研究院（FAIR）基于 Torch 推出的，它是一个基于 Python 的可续计算包，提供两个高级功能：1、具有强大的 GPU 加速的张量计算（如 NumPy）；2、构建深度神经网络时的自动微分机制。
  • YOLOv5是一种单阶段目标检测算法，该算法在YOLOv4的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。它是一个在COCO数据集上预训练的物体检测架构和模型系列，代表了Ultralytics对未来视觉AI方法的开源研究，其中包含了经过数千小时的研究和开发而形成的经验教训和最佳实践。

SPD-Conv

  • SPD-Conv由一个空间到深度(SPD)层和一个非跨行卷积(Conv)层组成，可以应用于大多数CNN架构。SPD-Conv在不丢失可学习信息的情况下对特征图进行下采样，完全抛弃了目前广泛使用的跨行卷积和池化操作。该论文实验结果表明，在小物体和低分辨率图像上有显著的性能提高。
  • 论文地址：https://arxiv.org/abs/2208.03641
  • 官方源代码地址：https://github.com/LabSAINT/SPD-Conv
  • 有兴趣可查阅论文和官方源代码地址。

在这里插入图片描述
以下是使用Python实现SPD-Conv的简单例子，目的是方便大家理解SPD-Conv的操作。

import cv2
import torch
from torch import nn

############## SPD-Conv ##############
class space_to_depth(nn.Module):
    # Changing the dimension of the Tensor
    def __init__(self, dimension=1):
        super().__init__()
        self.d = dimension

    def forward(self, x):
         return torch.cat([x[..., ::2, ::2], x[..., 1::2, ::2], x[..., ::2, 1::2], x[..., 1::2, 1::2]], 1)
############## SPD-Conv ##############


if __name__=="__main__":

    img_tensor = torch.Tensor([[[[ 1, 2, 3, 4],
                                 [ 5, 6, 7, 8],
                                 [ 9, 10, 11, 12],
                                 [ 13, 14, 15, 16]],

                                 [[ 1, 2, 3, 4],
                                 [ 5, 6, 7, 8],
                                 [ 9, 10, 11, 12],
                                 [ 13, 14, 15, 16]],

                                 [[ 1, 2, 3, 4],
                                 [ 5, 6, 7, 8],
                                 [ 9, 10, 11, 12],
                                 [ 13, 14, 15, 16]]]])
    # print('img_tensor:',img_tensor)
    print('img_tensor.shape:',img_tensor.shape)
    spd = space_to_depth()
    res = spd.forward(img_tensor)
    # print('res:',res)
    print('res.shape:',res.shape)

img_tensor.shape: torch.Size([1, 3, 4, 4])
res: tensor([[[[ 1.,  3.],
       		[ 9., 11.]],
	
	         [[ 1.,  3.],
	          [ 9., 11.]],
	
	         [[ 1.,  3.],
	          [ 9., 11.]],
	
	         [[ 5.,  7.],
	          [13., 15.]],
	
	         [[ 5.,  7.],
	          [13., 15.]],
	
	         [[ 5.,  7.],
	          [13., 15.]],
	
	         [[ 2.,  4.],
	          [10., 12.]],
	
	         [[ 2.,  4.],
	          [10., 12.]],
	
	         [[ 2.,  4.],
	          [10., 12.]],
	
	         [[ 6.,  8.],
	          [14., 16.]],
	
	         [[ 6.,  8.],
	          [14., 16.]],
	
	         [[ 6.,  8.],
	          [14., 16.]]]])
res.shape: torch.Size([1, 12, 2, 2])

YOLOv5修改backbone为SPD-Conv

在这里插入图片描述

修改common.py

将以下代码，添加进common.py。

############## SPD-Conv ##############
class space_to_depth(nn.Module):
    # Changing the dimension of the Tensor
    def __init__(self, dimension=1):
        super().__init__()
        self.d = dimension

    def forward(self, x):
         return torch.cat([x[..., ::2, ::2], x[..., 1::2, ::2], x[..., ::2, 1::2], x[..., 1::2, 1::2]], 1)
############## SPD-Conv ##############

修改yolo.py

        elif m is space_to_depth:
            c2 = 4 * ch[f]

在这里插入图片描述

修改yolov5.yaml配置

# Parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Focus, [64, 3]],     # 0-P1/2
   [-1, 1, Conv, [128, 3, 1]],  # 1
   [-1,1,space_to_depth,[1]],   # 2 -P2/4
   [-1, 3, C3, [128]],          # 3
   [-1, 1, Conv, [256, 3, 1]],  # 4
   [-1,1,space_to_depth,[1]],   # 5 -P3/8
   [-1, 6, C3, [256]],          # 6
   [-1, 1, Conv, [512, 3, 1]],  # 7-P4/16
   [-1,1,space_to_depth,[1]],   # 8 -P4/16
   [-1, 9, C3, [512]],          # 9
   [-1, 1, Conv, [1024, 3, 1]], # 10-P5/32
   [-1,1,space_to_depth,[1]],   # 11 -P5/32
   [-1, 3, C3, [1024]],         # 12
   [-1, 1, SPPF, [1024, 5]],    # 13
  ]

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],                    # 14
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],    # 15
   [[-1, 9], 1, Concat, [1]],                     # 16 cat backbone P4
   [-1, 3, C3, [512, False]],                     # 17

   [-1, 1, Conv, [256, 1, 1]],                    # 18
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],    # 19
   [[-1, 6], 1, Concat, [1]],                     # 20 cat backbone P3
   [-1, 3, C3, [256, False]],                     # 21 (P3/8-small)

   [-1, 1, Conv, [256, 3, 1]],                    # 22
   [-1,1,space_to_depth,[1]],                     # 23 -P2/4
   [[-1, 18], 1, Concat, [1]],                    # 24 cat head P4
   [-1, 3, C3, [512, False]],                     # 25 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 1]],                    # 26
   [-1,1,space_to_depth,[1]],                     # 27 -P2/4
   [[-1, 14], 1, Concat, [1]],                    # 28 cat head P5
   [-1, 3, C3, [1024, False]],                    # 29 (P5/32-large)

   [[21, 25, 29], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

在这里插入图片描述

参考

[1] Raja Sunkara, Tie Luo. No More Strided Convolutions or Pooling: A New CNN Building Block for Low-Resolution Images and Small Objects. 2022
[2] https://github.com/LabSAINT/SPD-Conv
[3] https://github.com/ultralytics/yolov5.git

YOLOv5改进实战 | 更换主干网络Backbone（一）之轻量化网络Ghostnet
w94ghz的博客
10-13 1万+
YOLOv8改进策略：引入SPD-Conv技术以实现小目标精准检测
qq_62660798的博客
01-21 4323
SPD-Conv是一种空间深度卷积技术，旨在增强小目标检测的性能。相较于传统的Depthwise Convolution，SPD-Conv引入了空间注意力机制，更有利于捕捉小目标的细节信息。通过引入空间关注力，SPD-Conv更加注重目标的空间分布，有助于捕捉小目标的微小特征。相比传统卷积，SPD-Conv在保持高性能的同时拥有更少的参数数量，有助于减少模型的复杂性。SPD-Conv在相同计算资源下能够实现更高的感知力，提高整体模型的效率。
YOLOv5改进：更换骨干网（Backbone）
bai666ai的博客
06-19 6060
本课程讲述对YOLOv5进行更换骨干网（backbone；主干网）的方法，使其更加轻量或提高性能。
Yolov5优化：新型backbone网络Res2Net，超越ResNet，多尺度结构，提升物体检测立竿见影
05-17 3055
Res2Net结合C3和C2f提升检测精度，多尺度结构，提升物体检测立竿见影;结论：Res2Net结合C2f涨点更明显
YOLOv5尝试修改backbone
weixin_42182534的博客
03-11 9703
本博文记录第一次修改yolov5，只是尝试，不做工程效率的考虑 最近尝试修改yolov5的网络结构，在这里记录一下 第一步：加入模块代码 将模型搭建中所需的模块放入YOLOv5的源码路径models/common.py里，以ShuffleNetV2的InvertedResidual为例： 在common.py的顶部加入导入 from torch import Tensor from typing import Callable, Any, List 将InvertedResidual类和
修改YOLOV5的Backbone为shufflenetv2
u014723479的博客
08-06 3924
YOLOv5修改backbone为shufflenetv2
YOLOv5白皮书-第Y6周：yolov5改进--SPD-Conv+Yolov5
m0_62017984的博客
01-05 1688
小目标绝技 | 用最简单的方式完成Yolov5的小目标检测升级！
涨点神器：基于Yolov5/Yolov7的SPD-Conv，低分辨率图像和小物体涨点明显
03-20 3529
无卷积步长或池化:用于低分辨率图像和小物体的新 CNN 模块SPD-Conv
YOLOv8 改进 006：SPD-Conv 空间深度转换卷积替换 CNN 传统卷积神经网络
m0_46496775的博客
08-09 6261
SPD-Conv（Space-to-Depth Convolution）是一种新的 CNN 模块，旨在提高低分辨率图像和小物体目标检测的性能。它通过将特征图的空间维度转换为深度维度来增强特征表示，从而弥补低分辨率图像信息不足的问题。在本文中，给大家带来的教程是 YOLOv8 之 使用 SPD-Conv 空间深度转换卷积替换 CNN 传统卷积神经网络。
基于改进Xception-Backbone的YOLOv5的孔类零件表面瑕疵检测系统
xuehaikj的博客
11-22 419
基于改进Xception-Backbone的YOLOv5的孔类零件表面瑕疵检测系统
优化改进YOLOv5算法：加入SPD-Conv模块，让小目标无处遁形——(超详细)
qq_40716944的博客
10-30 1539
卷积神经网络(CNNs)在计算即使觉任务中如图像分类和目标检测等取得了显著的成功。然而，当图像分辨率较低或物体较小时，它们的性能会灾难性下降。这是由于现有CNN常见的设计体系结构中有缺陷，即使用卷积步长和/或池化层，这导致了细粒度信息的丢失和较低效的特征表示的学习。为此，我们提出了一个名为SPD-Conv的新的CNN构建块来代替每个卷积步长和每个池化层(因此完全消除了它们)。SPD-Conv由一个空间到深度(SPD)层和一个无卷积步长(Conv)层组成，可以应用于大多数CNN体系结构。
ECA-Net：用于深度卷积神经网络的高效通道注意力
m0_47867638的博客
03-24 1147
深卷积神经网络（CNN）已在计算机视觉社区中得到广泛使用，并且在图像分类，对象检测和语义分割等广泛的任务中取得了长足的进步。从开创性的AlexNet [17]开始，许多研究 不断研究以进一步改善深层CNN的性能。近来，将通道注意力并入卷积块中引起了很多兴趣，显示出在性能改进方面的巨大潜力。代表性的方法之一是挤压和激励网络（SENet）[14]，它可以学习每个卷积块的通道注意，从而为各种深层CNN架构带来明显的性能提升。
YOLOv5改进 | 主干网络 | 用EfficientNet卷积替换backbone【教程+代码 】
kay_545
05-21 3819
YOLOv5改进，优化，efficientnet
【YOLO v5 v7 v8 v9 小目标改进】SPD-Conv：解决步长卷积和池化层导致的细粒度信息丢失
Debroon
02-23 1万+
在添加 SPD-Conv 代码"""这个模块实现了空间到深度的操作，它重新排列空间数据块到深度维度，通过块大小增加通道数并减少空间维度。在卷积神经网络中常用此方法保持下采样图像的高分辨率信息。""""""初始化 SpaceToDepth 模块。参数:block_size (int): 每个块的大小。它定义了空间维度的下采样因子。输出通道的数量将增加 block_size**2 倍。"""self.block_size = block_size # 块大小"""
YOLOv5改进——使用深度可分离卷积轻量化C3
python_plus的博客
02-23 1万+
YOLOv5改进——使用深度可分离卷积轻量化C3
【保姆级教程|YOLOv8改进】【6】快速涨点，SPD-Conv助力低分辨率与小目标检测
阿旭的博客
02-07 1万+
【保姆级教程|YOLOv8改进】【6】快速涨点，SPD-Conv助力低分辨率与小目标检测
YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
01-07 2万+
Hello，各位读者们好本专栏自开设两个月以来已经更新改进教程60余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。同时本人一些讲解视频和包含我所有创新的YOLOv8文档并不能在优快云上传(所有的创新点都经过我的测试是可用的，得到该文件之后大家可以随意组合使用)，所以会建立群的形式在内上传我的文件和视频我也会在群内不定期和大家交流回答大家问题，同时定期会更新一些文章的创新点(经过我融合测试后的，先到先得)。本专栏持续更新网络上的所有前沿文章。
yoloV5加入SPD-Conv的方法
m0_49534117的博客
11-19 679
后续继续尝试其它可以提升小目标检测模型的模块。MAP提升约一个点左右。
希望将spd-conv加入人体关键点检测系统中，请为我写出整个系统的功能模块以及核心代码和结构图
最新发布
03-28
<think>好的，我现在需要帮助用户将spd-conv引入人体关键点检测系统。首先，我得了解spd-conv是什么。根据之前的资料，spd-conv是用于替代传统下采样的方法，比如步长卷积或池化，能够在减少空间分辨率的同时保留更多信息，避免细节丢失，这对关键点检测可能很有用。 接下来，用户需要整个系统的功能模块、核心代码和结构图。我应该先拆解系统的主要模块。通常，人体关键点检测系统包括数据预处理、模型架构、后处理等部分。现在需要将spd-conv整合到模型架构中，可能作为下采样层使用。 功能模块方面，数据预处理可能包括数据增强、归一化等。模型架构可能基于CNN，如HRNet或Hourglass，但需要替换其中的下采样层为spd-conv。后处理可能包括热图解码、关键点连接等。 结构图可能需要画出各个模块的连接，比如输入图像经过预处理进入带有spd-conv的骨干网络，然后生成热图，最后解码得到关键点。 核心代码部分，我需要导入spd-conv的PyTorch实现。假设用户使用PyTorch框架，那么需要定义SPDConv模块，然后构建检测模型。比如替换模型中的Conv2d层为SPDConv，可能还需要调整通道数，因为SPDConv会改变通道数。例如，输入通道C，经过SPDConv后变成C*4，因为空间拆分成更小的块，通道数增加。 然后，构建模型时要注意下采样的位置，比如每个下采样阶段使用SPDConv代替原来的卷积层。在关键点检测头部分，可能使用反卷积或上采样来恢复分辨率，生成热图。 测试代码部分，需要生成输入张量，通过模型前向传播，检查输出形状是否正确，特别是热图的尺寸是否符合预期。 可能遇到的问题：通道数的变化是否影响后续层，需要调整后续层的输入通道。例如，原始模型的下采样可能减少空间尺寸，但通道数增加，而使用SPDConv后，通道数可能增加更多，需要相应调整后续层的通道参数。 此外，训练时可能需要调整学习率或其他超参数，因为模型结构变化。数据增强策略可能需要根据任务调整，比如随机旋转、缩放等，以提升模型鲁棒性。 最后，用户可能需要了解如何评估模型，比如使用OKS（Object Keypoint Similarity）作为评价指标，或者在COCO数据集上测试。 相关问题应该围绕spd-conv的应用、模型结构调整、训练技巧以及关键点检测的其他方面展开。</think><< 将SPD-Conv（Space-to-Depth Convolution）应用于人体关键点检测系统时，需要结合其空间信息保留特性来优化特征提取过程。以下是完整的系统设计方案： 一、系统功能模块 1. 输入预处理模块 - 图像尺寸归一化（512x512） - 数据增强（随机旋转、翻转、颜色抖动） - 标准化处理（ImageNet均值方差） 2. 特征提取骨干网络 - SPD-Conv替代传统下采样 - 多尺度特征融合设计 - 特征金字塔构建 3. 关键点检测头 - 热图回归网络 - 可变形卷积模块 - 多分辨率特征融合 4. 后处理模块 - 热图峰值检测 - 关键点坐标解码 - 姿态连续性校验 二、核心代码实现（PyTorch） 1. SPD-Conv模块实现： ```python import torch import torch.nn as nn class SPDConv(nn.Module): def __init__(self, in_channels, out_channels, stride=2): super().__init__() if stride == 2: self.conv = nn.Sequential( nn.Conv2d(in_channels*4, out_channels, 3, 1, 1), nn.BatchNorm2d(out_channels), nn.ReLU() ) self.stride = stride def forward(self, x): if self.stride == 2: # Space-to-depth transformation out = torch.cat([x[..., ::2, ::2], x[..., 1::2, ::2], x[..., ::2, 1::2], x[..., 1::2, 1::2]], 1) return self.conv(out) return x ``` 2. 关键点检测网络架构： ```python class KeypointDetector(nn.Module): def __init__(self, num_joints=17): super().__init__() # 骨干网络 self.backbone = nn.Sequential( nn.Conv2d(3, 64, 3, padding=1), nn.ReLU(), SPDConv(64, 128), nn.Conv2d(128, 128, 3, padding=1), nn.ReLU(), SPDConv(128, 256), nn.Conv2d(256, 256, 3, padding=1), nn.ReLU(), SPDConv(256, 512) ) # 检测头 self.decoder = nn.Sequential( nn.ConvTranspose2d(512, 256, 4, stride=2, padding=1), nn.ReLU(), nn.Conv2d(256, 256, 3, padding=1), nn.ReLU(), nn.ConvTranspose2d(256, 128, 4, stride=2, padding=1), nn.ReLU(), nn.Conv2d(128, num_joints, 1) ) def forward(self, x): x = self.backbone(x) return self.decoder(x) ``` 3. 热图后处理代码： ```python def get_keypoints(heatmaps, threshold=0.1): batch_size, num_joints, H, W = heatmaps.shape keypoints = [] for b in range(batch_size): joints = [] for j in range(num_joints): hm = heatmaps[b,j] max_val, idx = torch.max(hm.view(-1), 0) y = (idx // W).float() x = (idx % W).float() if max_val > threshold: joints.append(torch.stack([x, y], dim=0)) else: joints.append(torch.tensor([-1,-1])) keypoints.append(torch.stack(joints)) return torch.stack(keypoints) ``` 三、系统结构图 ``` 输入图像 │ ▼ [预处理模块] → 归一化/增强 │ ▼ [SPD-Conv骨干网络] → 多尺度特征提取 │ ▼ [检测头] → 热图生成 │ ▼ [后处理模块] → 关键点坐标 ``` 四、设计要点说明 1. SPD-Conv替代传统下采样： - 在stride=2时执行space-to-depth操作 - 保持空间信息完整性 - 减少特征图的信息丢失 2. 多尺度特征融合： - 通过跳跃连接聚合不同层级特征 - 使用1x1卷积统一通道数 - 特征金字塔结构增强小目标检测 3. 热图后处理优化： - 双线性插值细化坐标 - 相邻关节约束校验 - 置信度阈值过滤
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FriendshipT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值