Generalizable Entity Grounding via Assistance of Large Language Model

本文是LLM系列文章，针对《Generalizable Entity Grounding via Assistance of Large Language Model》的翻译。

摘要

在这项工作中，我们提出了一种从长标题中提取密集地面视觉实体的新方法。我们利用大型多模态模型（LMM）提取语义名词，利用类不可知分割模型生成实体级分割，并利用所提出的多模态特征融合模块将每个语义名词与其对应的分割掩码相关联。此外，我们引入了一种将实体分割掩模编码到颜色图中的策略，从而能够从高分辨率掩模的特征中保留细粒度预测。这种方法使我们能够使用LMM中的CLIP视觉编码器从低分辨率图像中提取视觉特征，这在计算上比现有的对高分辨率图像使用额外编码器的方法更高效。我们的综合实验证明了我们的方法的优越性，在三项任务上优于最先进的技术，包括全景叙事基础、参考表达分割和全景分割。

1 引言

2 相关工作

3 方法

4 实验

5 结论

本文介绍了GELLA，这是一个利用大型语言模型来构建带有长标题的实体的框架。GELLA框架由颜色图、图像和语言编码器组成，用于对分割掩码、图像和字幕进行编码。与其他工作相比，彩色图编码器使网络能够优先考虑掩码，而无需高分辨率图像处理的计算负担。因此，它允许我们使用CLIP视觉编码器在像素级预测和语言解码器的语义名词提取中处理低分辨率图像。此外，所提出的ResoBlend和联想模块将两个多