本文是LLM系列文章,针对《LayoutLLM: Large Language Model Instruction Tuning for Visually
Rich Document Understanding》的翻译。
摘要
本文提出了LayoutLLM,这是一种更灵活的文档分析方法,用于理解图像文档。视觉丰富的文档理解任务,如文档图像分类和信息提取,由于其重要性而受到了极大的关注。已经开发了现有的方法,通过结合图像、文本和布局结构的预训练意识来增强文档理解。然而,这些方法需要对每个任务和数据集进行微调,并且模型的训练和操作成本高昂。为了克服这一限制,我们提出了一种新的LayoutLLM,它将这些与大规模语言模型(LLM)集成在一起。通过利用现有文档图像理解研究的优势和LLM卓越的语言理解能力,所提出的模型与多模态指令数据集进行了微调,可以在单个模型中理解文档图像。我们的实验证明了在各种文档分析任务中对基线模型的改进。
1 引言
2 相关工作
3 方法
4 实验
5 结论
本研究提出了一种能够执行多项任务的文档分析框架。所提出的方法LayoutLLM结合了用于捕获文档图像的VrD