哪些视觉特征会影响目标任务的性能?
1. 研究背景与相关工作
在计算机视觉领域,理解哪些视觉特征对目标任务的性能有影响是一个重要的研究方向。我们提出了遗忘视觉探测(Amnesic Visual Probing,AVP)方法,用于分析哪些视觉特征会影响目标任务的性能,同时应用马尔(Marr)的视觉计算理论来检查视觉表示中的偏差。
相关工作主要涉及两个研究领域:自监督学习和探测任务。
- 自监督图像表示 :自监督方式获得的图像表示越来越受欢迎,因为与有监督方法相比,它们能利用无标签注释的数据集。以下是几种常见的自监督学习方法:
- MoCo v1 :基于将字典视为数据样本队列的方式,包含查询和键的两个编码器,通过对比损失进行匹配,队列允许使用以前受限于批量大小的大量示例字典。
- SimCLR v2 :在其前身SimCLR的基础上构建,通过对比损失最大化同一样本的两个视图之间的一致性。使用更深更窄的骨干网络(ResNet - 152 3x),加深投影头,且在对比训练后不删除,还采用了MoCo的记忆机制来增加负样本池。
- SwAV :利用对比方法,但比较数据簇而不是单个示例。通过学习从一个视图预测另一个视图来增强簇之间的一致性。
- BYOL :不使用明确定义的对比损失函数,因此不需要负样本。使用在线和目标两个神经网络,相互交互学习同一图像的表示。
- 探测任务 :最初来自自然语言处理(NLP),目标是发现神经网络表示中
超级会员免费看
订阅专栏 解锁全文
17万+

被折叠的 条评论
为什么被折叠?



