TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/140855371

本文是LLM系列文章，针对《TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models》的翻译。

TextHawk：探索多模态大型语言模型的高效细粒度感知

摘要
1 引言
2 相关工作
3 方法
4 实验
5 局限性
6 结论

摘要

多模态大型语言模型（MLLM）在各种多模态任务上显示出令人印象深刻的结果。然而，大多数现有的MLLM并不适合面向文档的任务，这些任务需要细粒度的图像感知和信息压缩。在本文中，我们介绍了TextHawk，这是一种专门为面向文档的任务设计的MLLM，同时保留了MLLM的一般功能。TextHawk旨在通过设计四个专用组件来探索高效的细粒度感知。首先，提出了一种重新采样和重新排列（ReSA）模块，以减少文档文本中的冗余，降低MLLM的计算成本。我们通过提出可扩展位置嵌入（SPE）来探索对每个局部特征的位置进行编码，这可以保持各种图像大小的可扩展性。然后采用查询建议网络（QPN）在不同子图像之间动态初始化查询。为了进一步增强MLLM的细粒度视觉感知能力，我们设计了一种多级交叉注意力（MLCA）机制，该机制捕获了文档图像的层次结构和语义关系。此外，我们通过Gemini Pro丰富多模态文档数据，为面向文档的任务创建了一个新的指令调优数据集。我们在通用和面向文档的MLLM基准上进行了广泛的实验，结果表明TextHawk优于最先进的方法，证明了它在细粒度文档感知和通用能力方面的有效性和优越性。项目页面：https://github.com/yuyq96/TextHawk.