（一零八）：GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features

• 出处：ECCV (36) 2022: 167-184
• 代码：https://github.com/davidnvq/grit
• 题目：GRIT:使用双重视觉功能的更快更好的图像字幕转换器
• 主要内容：提取和融合这两种类型图像特征方法

Abstract

目前最先进的图像字幕方法采用基于区域的特征，因为它们提供了描述图像内容所必需的对象级信息;它们通常由物体检测器(例如Faster R-CNN)提取。然而，它们存在一些问题，如缺乏上下文信息，不准确检测的风险，以及较高的计算成本。前两个问题可以通过额外使用基于网格的特性来解决。
然而，如何提取和融合这两种类型的特征是未知的。本文提出了一种仅基于变压器的神经结构，称为GRIT(基于网格和区域的图像字幕转换器)，该结构有效地利用了这两种视觉特征来生成更好的字幕。GRIT用基于detr的检测器取代了之前方法中使用的基于cnn的检测器，使其计算速度更快。此外，其单片设计仅由变压器组成，可以对模型进行端到端训练。这种创新的设计和双重视觉特征的集成带来了显著的性能提高。在几个图像字幕基准上的实验结果表明，GRIT在推理精度和速度方面优于以往的方法。