RT-DETR改进策略【Conv和Transformer】| ICCV-2023 iRMB 倒置残差移动块 轻量化的注意力模块

一、本文介绍

本文记录的是利用iRMB模块优化RT-DETR的目标检测网络模型。iRMB（Inverted Residual Mobile Block）的作用在于克服了常见模块无法同时吸收CNN 效率建模局部特征和利用Transformer 动态建模能力学习长距离交互的问题。相比一些复杂结构或多个混合模块的方法，能更好地权衡模型成本和精度。本文将其用于RT-DETR的模型改进和二次创新，更好地突出重要特征，提升模型性能。

---

专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

---

二、iRMB注意力介绍

Rethinking Mobile Block for Efficient Attention-based Models

2.1 设计出发点

• 统一CNN和Transformer优势：从高效的Inverted Residual Block（IRB）和Transformer的有效组件出发，期望在基础设施设计层面整合两者优势，为注意力模型构建类似IRB的轻量级基础结构。
• 解决现有模型问题：当前方法存在引入复杂结构或多个混合模块的问题，不利于应用优化。希望通过重新思考IRB和Transformer组件，构建简单有效的模块。

2.2 原理

• 基于Meta Mobile Block（MMB）：MMB是通过对MobileNetv2中的IRB和Transformer中的核心MHSA及FFN模块重新思考并归纳抽象得到的。它以参数化的扩展比率λ和高效算子F来实例化不同模块（如IRB、MHSA、FFN），揭示了这些模块的一致本质表达。