学习记录——Efficient MOdel轻量化主干模型（iRMB、EMO）、CATnet

Rethinking Mobile Block for Efficient Attention-based Models

结合 CNN 和 Transformer 的倒残差移动模块设计
ICCV-2023

  实例化了一个面向移动端应用的iRMB基础模块（Inverted Residual Mobile Block，倒残差移动模块），其同时具备CNN的静态短程建模能力和Transformer的动态长程特征交互能力，并进一步设计了仅由iRMB构成的EMO, Efficient MOdel轻量化主干模型。

  结合CNN/Transformer结构的优点来构建类似IRB的轻量级基础模块。基于此，抽象了MMB（Meta Mobile Block）用来对IRB和Transformer中的MHSA/FFN进行归纳，其次实例化了高效的iRMB（Inverted Residual Mobile Block），最后仅使用该模块构建了高效的EMO（Efficient MOdel）轻量化主干模型。

元移动模块

  如上图左侧所示，通过对 MobileNetv2 中的 IRB 以及 Transformer 中的核心 MHSA 和 FFN 模块进行抽象，作者提出了统一的 MMB 对上述几个结构进行归纳表示，即采用扩张率和高效算子 F来实例化不同的模块。