ADELIE: Aligning Large Language Models on Information Extraction

本文是LLM系列文章，针对《ADELIE: Aligning Large Language Models on Information Extraction》的翻译。

摘要

大型语言模型 （LLM） 通常无法完成信息提取 （IE） 任务，并且难以遵循 IE 任务的复杂指令。这主要是由于 LLM 未与人类对齐，因为主流对齐数据集通常不包含 IE 数据。在本文中，我们介绍了 ADELIE（在信息提取上对齐大型语言 moDEL），这是一种对齐的 LLM，可有效解决各种 IE 任务，包括封闭 IE、开放 IE 和按需 IE。我们首先收集并构建一个高质量的对齐语料 IEInstruct for IE。然后，我们使用 IEInstruct 上的指令调优来训练 ADELIESFT。我们使用直接偏好优化 （DPO） 目标进一步训练 ADELIESFT，从而得到 ADELIEDPO。对各种保留的 IE 数据集的广泛实验表明，我们的模型（ADELIESFT 和 ADELIEDPO）在开源模型中实现了最先进的 （SoTA） 性能。我们进一步探索了 ADELIE 的一般能力，实验结果表明，它们的一般能力并没有表现出明显的下降。我们将发布代码、数据和模型以促进进一步研究。

1 引言