Towards Efficient Resume Understanding: A Multi-Granularity Multi-Modal Pre-Training Approach

本文是LLM系列文章，针对《Towards Efficient Resume Understanding: A Multi-Granularity Multi-Modal Pre-Training Approach》的翻译。

摘要

在当今广泛的在线招聘时代，简历理解已被广泛认为是一项基本而关键的任务，其目的是从简历文档中自动提取结构化信息。与传统的基于规则的方法相比，使用最近提出的预训练文档理解模型可以大大提高简历理解的有效性。然而，目前的方法忽略了简历中呈现的结构化信息中的层次关系，并且难以有效地解析简历。为此，本文提出了一种新的模型，即ERU，以实现高效的简历理解。具体来说，我们首先引入了一种布局感知的多模态融合transformer，用于用集成的文本、视觉和布局信息对简历中的片段进行编码。然后，我们设计了三个自我监督任务，通过大量未标记的简历对该模块进行预训练。接下来，我们使用多粒度序列标记任务对模型进行微调，以从简历中提取结构化信息。最后，在真实世界数据集上进行的广泛实验清楚地证明了ERU的有效性。

1 引言

2 相关工作

3 前言

4 方法

5 实验