论文笔记 Enhancing Camouflaged Object Detectors by Generating Camouflaged Objects, ICLR 2024.

动机

伪装物体检测（COD）是一项具有挑战性的任务，因其需要检测与背景视觉上高度融合的物体。尽管现有的COD检测器取得了一定的成功，但在面对极端伪装场景时仍然难以获得精确的结果。这种不准确性限制了COD技术在实际应用中的效果，如医学图像分析和物种发现。因此，论文希望通过从猎物与捕食者的博弈中获得灵感，开发出更先进的算法来提升COD检测器的性能。

贡献

1. 提出Camouflageator框架：设计了一个对抗训练框架，包含辅助生成器和检测器，通过生成更难检测的伪装物体来提升检测器的泛化能力。
2. 开发ICEG检测器：提出了一种新的COD检测器，专注于解决现有检测器在不完整分割和模糊边界方面的问题。
3. 综合验证：通过在四个数据集上的广泛实验，验证了ICEG和Camouflageator在提升COD性能方面的有效性。
4. 提供代码：论文宣布将开源相关代码，便于学术界和工业界进一步研究和应用。

创新点

1. 双重策略启发：从猎物与捕食者博弈中获得启发，分别从猎物侧和捕食者侧开发算法。这种双重策略的设计理念在COD任务中是创新的。
2. 对抗训练框架Camouflageator：引入了一个对抗训练框架，通过生成更难检测的伪装物体，提升了检测器的泛化能力。这个框架是灵活的，可以与各种现有的COD检测器结合使用。
3. 新型检测器ICEG：开发了一个新的检测器，采用伪装特征一致性模块（CFC）和边缘引导分割解码器（ESD）来处理不完整分割和模糊边界问题。CFC模块通过特征聚合提高伪装物体的内部一致性，ESD模块通过边缘重建和引导分割减少边界模糊和误检测。
4. 伪装一致性损失：提出了一种新的损失函数，增强了伪装物体的内部一致性，帮助生成更完整的分割结果。
5. 边缘引导分割：结合边缘指导和前景/背景分离，减少了分割边缘的模糊和不确定性，取得了更清晰的分割边缘。

这张图展示了论文中提出的Camouflageator框架的架构和工作流程。该框架通过一个对抗训练的过程生成更加难以检测的伪装物体，从而增强COD检测器的泛化能力。具体解释如下：

图的整体概述

图分为两个阶段：Phase I和Phase II，并通过交替训练的方式迭代进行。Phase I中固定检测器 $Ds$ ，训练生成器 $Gc$；Phase II中固定生成器 $Gc$，训练检测器 $Ds$ 。

详细说明

Phase I

1. 输入（$\text{x}$）：
   • 输入图像 $\text{x}$ 是一张包含伪装物体的图像。
2. 生成伪装物体 $Gc$：
   • 生成器 $Gc$ 接收输入图像X并生成伪装图像 ${\text{x}}_g$。
3. 损失计算：
   • 生成器通过优化两个损失函数来进行训练：
     • Fidelity Loss ($L_f$)：保持生成图像与原始图像在背景区域上的一致性。
     • Concealment Loss ($L_{cl}$)：隐藏前景物体的辨别特征，使其更加难以检测。
   • 总损失函数为：$L_{Cam}=L_f+\lambda L_{cl}$
4. 欺骗检测器 $Ds$：
   • 生成的伪装图像 ${\text{x}}_g$ 被输入到固定的检测器 $Ds$ ，检测器试图分割出前景物体。
   • 检测器的输出应尽量没有前景物体，以证明生成器成功地生成了难以检测的伪装物体。
   • 用于训练生成器的附加损失：$L_s^a=L_{BCE}^w(Ds({\text{x}}_g),{\text{y}}_z)+L_{IoU}^w(Ds({\text{x}}_g),{\text{y}}_z)$，其中 ${\text{y}}_z$是全零掩码，表示没有前景物体。

Phase II

1. 输入（Xg）：
   • 生成器生成的伪装图像 ${\text{x}}_g$ 再次被输入到固定的生成器 $Gc$ 中。
2. 训练检测器 $Ds$：
   • 生成的伪装图像 ${\text{x}}_g$ 被输入到检测器 $Ds$ ，此时检测器进行训练以准确分割出伪装图像中的前景物体。
   • 使用的损失函数为：$L_s^{}$