（八十一）：Image Change Captioning by Learning from an Auxiliary Task

• 出处： CVPR 2021: 2725-2734
• 代码：
• 题目：通过学习辅助任务改变图像字幕
• 主要内容：任务为图像描述变化，提出了利用辅助任务提高训练。

Abstract

我们处理富有挑战性的任务，图像改变标题。我们的目标是通过生成一个句子标题来描述两个非常相似的图像之间的细微差别。虽然最近的方法主要是针对这一问题提出新的模型架构，但我们却专注于一个替代的训练方案。
在多任务学习成功的启发下，我们制定了一种使用辅助任务来提高变化字幕网络训练的方案。
本文认为组合查询图像检索任务作为辅助任务是一种自然选择。

1. 给定两幅几乎相似的图像作为输入，主网络生成一个描述这两幅图像之间细微变化的标题。
2. 接下来，辅助网络提供生成的标题和这两幅图像中的一幅。然后，它试图从一组候选图像中选择第二个图像。这迫使主网络产生详细和精确的标题，通过有额外的监督损失的辅助网络。
3. 此外，我们提出了一种新的方案，为检索任务选择一组能有效提高性能的负候选集合。在基准数据集上，我们证明了所提出的训练策略能够很好地完成更改标题的任务。

1. Introduction

变化是动态环境中不可避免的一部分。在社区中，各种变化检测任务已经得到了广泛的关注[10,27,28,13,22,23,31]。