2021-Group Collaborative Learning for Co-Salient Object Detection

最新推荐文章于 2024-12-24 18:07:16 发布

原创

最新推荐文章于 2024-12-24 18:07:16 发布 · 1k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #计算机视觉

本文提出了一种名为GCoNet的组协同学习框架，针对协同显著性对象检测（Co-SOD）任务。GCoNet通过GroupAffinityModule（GAM）、GroupCollaboratingModule（GCM）和AuxiliaryClassificationModule（ACM）增强了组内一致性与组间可分离性。GAM利用全局亲和度注意力地图减少噪声影响，GCM通过组间信息提升特征区分性，ACM通过辅助分类监督学习更优的嵌入空间。模型在保持实时速度的同时提高了Co-SOD的性能。

1. Title

2. Summary

3. Problem Statement

（1）Co-Salient Object Detection问题定义

（2）之前CoSOD方法存在问题

4. Method(s)

（1）Architecture Overview

（2）Group Affinity Module（GAM）

（3）Group Collaborating Module（GCM）

（4）Auxiliary Classification Module（ACM）

（5）End-to-End Training

1. Title

Group Collaborative Learning for Co-Salient Object Detection

2. Summary

本文创新性地在CoSOD任务中引入了组间协同性训练的方法，模型的输入来自不同组的图片。

Group Affinity Module（GAM）使用逐帧计算相似度的方法，获取组内各个图片间的相似度，并使用了大量Global Max Pooling和Global Average Pooling策略，降低噪声目标的影响。

Group Collaborating Module（GCM）则采用类似于交叉Attention的方法，获取组内特征以及组间特征，并通过两个不同的监督信号，提升组内特征的一致性和组间特征的可分离性。

Auxiliary Classification Module（ACM）则是通过加入一个辅助分类头的方法去对嵌入式空间进行进一步监督。

3. Problem Statement

本文主要解决的问题是Co-Salient Object Detection。

（1）Co-Salient Object Detection问题定义

协同显著性检测问题：在一组相关的图片中，检测出同时出现的显著性物体。

CoSOD相较于典型的SOD任务来说，更具有挑战性，因为CoSOD需要在其他目标存在的情况下，仅检测出在多张图片中同时出现的目标。

（2）之前CoSOD方法存在问题

之前大部分的CoSOD问题主要利用的是在一个组内部的一系列图片的一致性，包括一些共享的线索信息、语义联系等。

但是仅在一个组内部提取特征会存在一些问题：

同一个组内部的images一般都包含相似的前景，仅能提供一些正向的关系用于说明哪些可能是显著性目标，但是缺乏负向的一些信息用于区分不同的目标。
对于大部分CoSOD数据集来说，一个组内的图片的数目都比较少，一般在20-40张，因此，不足以去习得一个具有高分辨能力的特征。
一个组内的图片难以提供高级的语义信息，而高级的语义信息对于区分复杂现实情境中的噪声目标是至关重要的。

4. Method(s)

为了解决上述问题，本文提出了一个具有创意的Group Collaborative learning Framework（GCoNet），用于挖掘不同image groups之间的语义联系。GCoNet主要包含三个部分group affinity module (GAM)，group collaborating module (GCM) 和 auxiliary classification module (ACM)，GAM和GAM分别用于习得组内的一致性和组间的可分离性，ACM则用于学习一个更好的嵌入式空间。