LayTextLLM: A Bounding Box is Worth One Token Interleaving Layout and Text in a Large Language Model

本文是LLM系列文章，针对《LayTextLLM: A Bounding Box is Worth One Token Interleaving Layout and Text in a Large Language Model for Document Understanding》的翻译。

摘要

最近，许多研究表明，将 OCR 衍生的文本和空间布局专门与大型语言模型 （LLM） 相结合对于文档理解任务非常有效。但是，将空间布局与文本集成的现有方法存在局限性，例如生成过长的文本序列或无法充分利用 LLM 的自回归特征。在这项工作中，我们介绍了大型语言模型中的交错布局和文本 （LayTextLLM） 用于文档理解。特别是，LayTextLLM 将每个边界框投影到单个嵌入中，并将其与文本交错，从而有效地避免了长序列问题，同时利用了 LLM 的自回归特征。LayTextLLM 不仅简化了布局和文本数据的交互，而且在关键信息提取 （KIE） 和可视化问答 （VQA） 方面也显示出增强的性能。全面的基准评估揭示了显着的改进，与以前最先进的文档理解 MLLM 相比，KIE 任务增加了 27.2%，VQA 任务增加了 12.0%，与其他基于 SOTA OCR 的 LLM 相比，KIE 任务提高了 15.1%。此外，我们发现空间布局可以解码