（五十九）：Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

• 出处：CVPR 2018: 6077-6086
• 代码：https://github.com/peteanderson80/bottom-up-attention
• 题目：自底向上和自顶向下注意图像说明和视觉问题回答
• 主要内容：提出了一种自下而上和自上而下相结合的视觉注意机制。

Abstract

自顶向下的视觉注意机制Top-down visual attention mechanisms 已被广泛应用于图像字幕和视觉问答(VQA)，通过细粒度分析甚至多个推理步骤来实现更深入的图像理解。
在这项工作中，我们提出了一个结合自底向上和自顶向下的注意机制，使注意能够在目标和其他显著图像区域的水平上计算。这是注意力被考虑的自然基础。
在我们的方法中，自下而上的机制(基于Faster R-CNN)提出图像区域，每个区域都有一个相关的特征向量，而自上而下的机制决定特征权重。
将这种方法应用到图像字幕中，我们在MSCOCO测试服务器上的结果为该任务建立了一个新的水平，获得了CIDEr / SPICE / BLEU-4的分数分别为117.9,21.5和36.9。
通过将同样的方法应用于VQA，我们在2017年VQA挑战赛中获得了第一名，证明了该方法的广泛适用性。

1. Introduction

结合图像和语言理解的问题，如图像字幕[4]和视觉问答(VQA