YOLOv11 改进 - 主干网络| RepViT重访移动端CNN的ViT视角：轻量级设计分离Token与Channel混合器，优化移动端实时检测

前言

本文介绍了将轻量级卷积神经网络RepViT与YOLOv11相结合的方法。RepViT通过引入轻量级视觉变换器的高效架构设计，提升了移动设备上的计算机视觉任务性能。其采用结构重参数化技术，核心模块RepViT Block分离Token Mixer和Channel Mixer，有效处理空间和通道信息。我们将RepViT引入YOLOv11，对相关代码进行修改和注册，并配置了yolov11 - RepViT.yaml文件。实验脚本显示，该结合方式在目标检测任务中展现出一定效果。

文章目录： YOLOv11改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

专栏链接: YOLOv11改进专栏

介绍

摘要

近期，轻量级视觉Transformer（Vision Transformers, ViTs）在资源受限的移动设备部署中展现出相较于轻量级卷积神经网络（CNNs）更优异的性能表现与更低的推理延迟。尽管已有研究揭示了轻量级ViTs与轻量级CNNs之间存在诸多结构性关联，但两者在模块结构、宏观架构设计及微观实现层面的显著差异尚未得到系统性探究。本研究从ViT架构视角重新审视轻量级CNN的高效设计范式，并着重强调其在移动计算平台上的巨大应用潜力。具体而言，通过融合轻量级ViTs的高效架构设计理念，逐步优化标准轻量级CNN（如MobileNetV3）的移动友好特性，最终构建出一个全新的轻量级CNN模型家族，命名为RepViT。大量实验验证表明，RepViT在多种视觉任务中均超越现有轻量级ViTs的性能表现，并展现出理想的延迟特性。特别地，在ImageNet数据集上，RepViT首次实现在iPhone 12移动设备上以1.0毫秒延迟达到超过80%的Top-1分类精度，突破了轻量级模型的性能极限。此外，将RepViT与SAM（Segment Anything Model）相结合后，RepViT-SAM的推理速度相较于先进的MobileSAM实现近10倍的显著提升。相关代码与预训练模型已在