《LAVT: Language-Aware Vision Transformer forReferring Image Segmentation》关于语言指导的图像分割的论文笔记

介绍

Referring image segmentation（我翻译成语言指导的图像分割）其目的就是从图像中分割出自然语言表达式所指称的对象。该任务背后的关键挑战之一是利用指称表达式突出图像中的相关位置。在这篇论文中，作者通过在视觉Transformer编码器网络的中间层中早期融合语言和视觉特征，可以实现更好的跨模态对齐。

与先前方法的对比

先前的最先进方法是将图像和语言特征分开编码，然后利用Transformer解码器进行跨模态特征融合，比如将解码器的Q换成语言特征编码，从而实现多模态融合。

作者提出的方法在视觉Transformer网络的中间层将语言信息直接集成到视觉特征中，其中有益的视觉-语言线索被联合利用。对比图如下：

模型框架

模型整体结构如上图。

语言感知的视觉编码（Language-aware visual encoding）

将语言表达式嵌入高维词向量L=Ct*T(Ct是通道数，T是单词数)。编码层有四个Stage,每个Stage有三个步骤：一组Transformer编码层，一个多模态融合模块θi，一个可学习的门控单元ψi。每个Stage都生成或改进语言感知的视觉特征。首先，Transformer将前一阶段的特征作为输入，输出丰富的视觉特征Vi=Ci*Hi*Wi。然后，多模态融合模块将Vi和语言特征L结合，得到多模态特征Fi=Ci*Hi*Wi。最后，Fi中的每个元素被可学习的门控单元加权，然后将元素添加到Vi中产生一组嵌入语言信息的增强视觉特征Ei=Ci*Hi*Wi。