DOCLLM: A LAYOUT-AWARE GENERATIVE LANGUAGE MODEL FOR MULTIMODAL DOCUMENT UNDERSTANDING

本文是LLM系列文章，针对《DOCLLM: A LAYOUT-AWARE GENERATIVE LANGUAGE MODEL
FOR MULTIMODAL DOCUMENT UNDERSTANDING》的翻译。

摘要

企业文档，如表单、发票、收据、报告、合同和其他类似记录，通常在文本和空间模式的交叉点上具有丰富的语义。它们复杂的布局所提供的视觉线索在有效理解这些文档方面发挥着至关重要的作用。在本文中，我们提出了DocLLM，这是对传统大型语言模型（LLM）的轻量级扩展，用于在视觉文档上进行推理，同时考虑了文本语义和空间布局。我们的模型与现有的多模态LLM的不同之处在于避免了昂贵的图像编码器，并专门关注边界框信息以结合空间布局结构。具体来说，通过将经典Transformer中的注意力机制分解为一组解纠缠矩阵，可以捕捉文本和空间模态之间的交叉对齐。此外，我们设计了一个预训练目标，学习填充文本片段。这种方法使我们能够解决视觉文档中经常遇到的不规则布局和异构内容。预训练的模型使用大规模指令数据集进行微调，涵盖四个核心文档智能任务。我们证明，在所有任务中，我们的解决方案在16个数据集中的14个数据集上都优于最先进的LLM，并很好地推广到5个以前未见过的数据集中的4个。

1 引言

2 相关工作

3 DocLLM框架

4 实验

5 消融实验

6 讨论与发现

7 结论

在本文中，我们介绍了DocLLM，这是对传统大型语言模型的轻量级扩展，专门针对布局丰富的文档进行生成推理。与现有的多模态LLM不同，DocLLM战略