即插即用系列 | ICASSP 2025 CAF-YOLO 实战解析：ACFM & MSNN 模块详解

论文名称：CAF-YOLO: A Robust Framework for Multi-Scale
Lesion Detection in Biomedical Imagery

论文原文 (Paper)：https://arxiv.org/abs/2408.01897
官方代码 (Code)：https://github.com/xiaochen925/CAF-YOLO

---

GitHub 仓库链接：https://github.com/AITricks/AITricks
哔哩哔哩视频讲解：https://space.bilibili.com/57394501?spm_id_from=333.337.0.0

1. 核心思想

本文针对生物医学图像中微小病变（如血细胞、肺结节）检测精度不足的问题，提出了一种名为 CAF-YOLO 的新型检测框架。该框架基于 YOLOv8，创造性地融合了 CNN 和 Transformer 的优势。其核心创新在于设计了 注意力与卷积融合模块（ACFM） 以兼顾全局与局部特征提取，以及 多尺度神经网络（MSNN） 以增强跨尺度的特征聚合能力。实验证明，CAF-YOLO 在微小目标检测和定位方面表现卓越，超越了现有的 SOTA 方法。

2. 背景与动机

• 文本角度总结：
  生物医学图像中的目标检测对于临床诊断至关重要，但现有方法在检测微小实体（如异常细胞、<3mm 的肺结节）时精度往往不足。

  1. CNN 的局限性：虽然擅长提取局部特征，但在长距离信息交互方面能力有限，难以捕捉全局上下文。
  2. Transformer 的局限性：虽然擅长全局建模，但其前馈网络（FFN）通常仅进行单尺度的特征聚合，未能充分利用通道信息的丰富性，且计算成本较高。
  3. 微小目标的挑战：在模糊的显微图像中，微小且密集的物体（如血小板）极易被漏检或误检。
     因此，本文旨在设计一种既能捕捉长距离依赖又能保留局部细节，同时具备强大特征聚合能力的混合架构。

• 动机图解分析：

  • 图 1（Figure 1）：微小目标的视觉挑战
    • 图示内容：展示了模糊的血液显微图像，其中黄色箭头指向微小的血小板。
    • 问题揭示：即使对于人类肉眼，这些微小目标也极难分辨。它们尺寸极小、边界模糊，且容易与背景或其他细胞混淆。这直观地展示了现有检测器面临的“微小目标感知难”的问题，强调了引入更强特征提取和聚合机制（如 ACFM 和 MSNN）的必要性。

3. 主要贡献点

• [贡献点 1]：提出了 CAF-YOLO 网络架构
  基于 YOLOv8，提出了一种专门针对生物医学微小目标检测优化的混合架构。该架构在骨干网络之后引入了 CAFBlock，有效地整合了 CNN 和 Transformer 的优势，在保证速度的同时显著提升了对微小病灶的检测精度。

• [贡献点 2]：设计了注意力与卷积融合模块（ACFM）
  为了解决 CNN 感受野受限和 Transformer 局部细节丢失的问题，ACFM 采用了双分支结构。局部分支利用通道混洗（Channel Shuffle）和卷积增强局部特征的丰富性；全局分支引入自注意力机制，捕捉长距离的特征依赖。两者融合实现了全局与局部信息的互补。

• [贡献点 3]：设计了多尺度神经网络（MSNN）
  针对标准 Transformer 中 FFN 仅能进行单尺度特征聚合的缺陷，MSNN 提出了双路径设计。一条路径利用深度卷积提取空间细节，另一条路径利用不同膨胀率的空洞卷积（Dilated Convolution）捕获多尺度上下文，并通过门控机制（Gating）进行非线性融合，极大地丰富了特征表达。

4. 方法细节

• 整体网络架构（对应 Figure 2）：

  

  • 主干网络（Backbone）：图像首先经过 Backbone（如 YOLOv8 的 CSPDarknet）提取基础特征。
  • 核心组件（CAFBlock）：这是本文的核心插入模块，位于 Backbone 之后。每个 CAFBlock 包含两个 LayerNorm 层、一个 ACFM 模块和一个 MSNN 模块。数据流依次经过：LayerNorm -> ACFM -> Residual Connection -> LayerNorm -> MSNN -> Residual Connection。
  • 检测头（Detection Head）：经过 CAFBlock 增强的特征被送入多尺度检测头，输出边界框和类别预测。

• 核心创新模块详解：

  • 模块 A：注意力与卷积融合模块 (ACFM)（对应 Figure 3）

    

    • 结构设计：双分支并行结构。
    • 局部分支（Local Branch）：
      1. 输入特征经过 $1\times 1$ 卷积调整通道。
      2. Channel Shuffle：将通道分组并重排，促进不同组之间的信息流动，增加特征多样性。
      3. $3\times 3\times 3$ 卷积：进一步提取局部空间特征。
    • 全局分支（Global Branch）：
      1. 输入特征通过 $1\times 1$ 卷积和 $3\times 3$ 深度卷积（Dconv）生成 Q, K, V。
      2. Attention 计算：计算 $Q$ 和 $K$ 的相似度图（Attention Map），经过 Softmax 归一化。
      3. 加权融合：将 Attention Map 与 $V$ 相乘，并通过 $1\times 1$ 卷积输出全局特征。
    • 融合：局部和全局分支的输出进行元素级相加（Add），得到最终的融合特征。

  • 模块 B：多尺度神经网络 (MSNN)（对应 Figure 4）

    

    • 结构设计：用于替代传统 FFN 的双路径结构。
    • 下路径（空间细节）：输入 -> $1\times 1$ 卷积 -> $3\times 3\times 3$ 深度卷积 -> ReLU。专注于提取精细的空间细节。
    • 上路径（多尺度上下文）：输入 -> $1\times 1$ 卷积 -> 多尺度空洞卷积（并行使用膨胀率 $N1$ 和 $N2$ 的空洞卷积） -> 求和融合。专注于捕获不同感受野的上下文信息。
    • 门控融合（Gating）：上路径和下路径的输出进行元素级乘法（Gating Mechanism），实现非线性特征筛选。
    • 输出：最后经过 $1\times 1$ 卷积调整维度输出。

• 理念与机制总结：

  • ACFM 理念：“宏微结合”。利用卷积分支处理显微图像中的纹理细节（微观），利用注意力分支处理细胞间的分布关系（宏观）。
  • MSNN 理念：“多尺兼顾”。传统的 FFN 是点对点的（Point-wise），缺乏空间感知。MSNN 通过引入不同膨胀率的卷积，使得网络在特征变换阶段也能感知不同大小的病灶（如不同大小的血细胞）。

• 图解总结：

  • Figure 2 展示了 CAFBlock 如何像“积木”一样嵌入到主干网络之后，通过残差连接保证梯度流动。
  • Figure 3 清晰展示了 ACFM 的并行双流设计，特别是局部和全局信息的显式分流与再融合。
  • Figure 4 展示了 MSNN 如何通过上下两条路径的乘法门控，动态地增强重要特征并抑制噪声。

5. 即插即用模块的作用

本文提出的模块具有极高的通用性，可作为即插即用组件优化其他视觉模型：

1. CAFBlock (Combined ACFM & MSNN)

   • 适用场景：需要同时提升全局感知和局部细节提取能力的视觉任务，特别是微小目标检测或医学图像分析。
   • 具体应用：
     • 替换 Transformer Block：在 ViT 或 Swin Transformer 中，可以用 CAFBlock 替换标准的 Transformer Block。ACFM 替代 Self-Attention，MSNN 替代 FFN。这能引入卷积的归纳偏置，提升对小数据集和微小目标的鲁棒性。
     • CNN 后处理增强：在 ResNet 或 YOLO 的 Backbone 输出之后，插入 CAFBlock 作为 Neck 的一部分，增强特征的表达能力。

2. ACFM (Attention and Convolution Fusion Module)

   • 适用场景：特征融合阶段，或需要增强长距离依赖的场景。
   • 具体应用：
     • 多模态融合：在 RGB 和红外图像融合时，利用 ACFM 的双分支结构分别处理两种模态，然后融合。
     • FPN 增强：在特征金字塔网络（FPN）的横向连接处使用 ACFM，替代简单的 $1\times 1$ 卷积，以引入全局上下文。

3. MSNN (Multi-Scale Neural Network)

   • 适用场景：特征变换与聚合阶段，特别是目标尺度变化剧烈的任务。
   • 具体应用：
     • 替换 FFN/MLP：在任何深度网络中，用 MSNN 替换普通的 MLP 层（Feed-Forward Network）。利用其多尺度空洞卷积特性，无需增加太多参数即可显著扩大网络的有效感受野，提升对不同尺度目标的适应性。

到此，所有的内容就基本讲完了。如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。

获取更多高质量论文及完整源码关注 【AI即插即用】