TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models

本文是LLM系列文章，针对《TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models》的翻译。

摘要

多模态大型语言模型（MLLM）在各种多模态任务上显示出令人印象深刻的结果。然而，大多数现有的MLLM并不适合面向文档的任务，这些任务需要细粒度的图像感知和信息压缩。在本文中，我们介绍了TextHawk，这是一种专门为面向文档的任务设计的MLLM，同时保留了MLLM的一般功能。TextHawk旨在通过设计四个专用组件来探索高效的细粒度感知。首先，提出了一种重新采样和重新排列（ReSA）模块，以减少文档文本中的冗余，降低MLLM的计算成本。我们通过提出可扩展位置嵌入（SPE）来探索对每个局部特征的位置进行编码，这可以保持各种图像大小的可扩展性。然后采用查询建议网络（QPN）在不同子图像之间动态初始化查询。为了进一步增强MLLM的细粒度视觉感知能力，我们设计了一种多级交叉注意力（MLCA）机制，该机制捕获了文档图像的层次结构和语义关系。此外，我们通过Gemini Pro丰富多模态文档数据，为面向文档的任务创建了一个新的指令调优数据集。我们在通用和面向文档的MLLM基准上进行了广泛的实验，结果表明TextHawk优于最先进的方法，证明了它在细粒度文档感知和通用能力方面的有效性和优越性。项目页面：https://github.com/yuyq96/TextHawk.

1 引言

2 相关工作

3 方法

4 实验

5 局限性