Segment and Caption Anything

本文是计算机视觉相关文章，针对《Segment and Caption Anything》的翻译。

摘要

我们提出了一种方法来有效地为分割任意模型（SAM）配备生成区域字幕的能力。SAM表现出很强的可推广性来分割任何东西，而缺乏语义理解。通过引入一个轻量级的基于查询的特征混合器，我们将特定于区域的特征与语言模型的嵌入空间对齐，以便稍后生成字幕。由于可训练参数的数量很少（通常在数千万量级），因此计算成本更低，内存使用更少，通信带宽更少，从而实现快速且可扩展的训练。为了解决区域字幕数据的稀缺性问题，我们建议首先对我们的模型进行异议检测和分割任务的预训练。我们称这一步骤为弱监督预训练，因为预训练数据只包含类别名称，而不是完整的句子描述。弱监督预训练使我们能够利用许多公开可用的对象检测和分割数据集。我们进行了大量的实验来证明我们的方法的优越性，并验证了每一个设计选择。这项工作是扩大区域字幕数据的垫脚石，并有助于探索用区域语义增强SAM的有效方法。项目页面以及相关代码可以通过链接访问。

1 引言

使用自然语言教会机器理解视觉世界一直是计算机视觉中长期存在的问题。 图像字幕是需要机器以人类语言感知和描述图像的主题之一。随着深度学习的浪潮，巨大的努力已经致力于推动其在模型架构、训练数据、训练技术等方面的前沿。 然而，在区域字幕方面的工作较少，其中模型描述区域而不是整个图像。
构建一个遵循人类意图的智能系统是一个新兴的研究课题，正如大型基础模型的快速进展所证明的那样。在语言建模方面取得了重大突破，基础语言模型被微调以遵循用户的指令，同时使用指令监督和人类反馈。这一想法在多模