YOLOv11改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 RepViT 轻量级的Vision Transformers架构

一、本文介绍

本文记录的是基于RepVit的YOLOv11轻量化改进方法研究。RepVit的网络结构借鉴ViT的设计理念，通过分离的token mixe和channel mixer减少推理时的计算和内存成本，同时减少扩展比率并增加宽度，降低延迟，并通过加倍通道来弥补参数大幅减少的问题，提高了准确性。本文在替换骨干网络中配置了原论文中的repvit_m0_9、repvit_m1_0、repvit_m1_1、repvit_m1_5和repvit_m2_3五种模型，以满足不同的需求。

---

专栏目录：YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：YOLOv11改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

---

二、RepVit结构详解

2.1 出发点

在计算机视觉领域，设计轻量化模型对于在资源受限的移动设备上实现视觉模型的部署至关重要。近年来，轻量级Vision Transformers（ViTs）在移动设备上表现出优越性能和较低延迟，但ViTs和轻量级Convolutional Neural Networks（CNNs）在块结构、宏观和微观设计上存在显著差异未被充分研究。本研究从ViT视角重新审视轻量级CNNs的高效设计，旨在为移动设备探索更优的模型架构，因此提出了RepViT模型。

2.2 原理

2.2.1 借鉴ViT的设计理念

• 块设计（Block design）
  • 分离token mixer和channel mixer：轻量级ViTs的块结构包含分离的token mixer和channel mixer这一重要设计特征。研究发现ViTs的有效性主要源于其通用的token mixer和channel mixer架构（MetaFormer架构）。在MobileNetV3 - L中，原始块设计使token mixer和channel mixer耦合，通过移动DW卷积和可选的挤压 - 激励（SE）层，成