Adaptive Reinforcement Learning Planning: Harnessing Large Language Models for Complex Informatio

本文是LLM系列文章，针对《Adaptive Reinforcement Learning Planning: Harnessing Large Language Models for Complex Information Extraction》的翻译。

摘要

对大型语言模型 （LLM） 的现有研究表明，它们可以通过多步骤规划来解决信息提取任务。但是，它们在复杂句子和任务上的提取行为不稳定，出现了误报和缺失元素等问题。我们观察到，分解复杂的提取任务并逐步提取它们可以有效地提高 LLM 的性能，并且实体的提取顺序会显着影响 LLM 的最终结果。本文提出了一种基于 LLM 的信息提取的两阶段多步骤方法，并采用 RL 框架执行多步骤规划。我们将顺序提取视为马尔可夫决策过程，构建基于 LLM 的提取环境，设计决策模块以自适应地为不同句子的顺序实体提取提供最优顺序，并利用 DDQN 算法训练决策模型。我们还设计了适合 LLM 提取结果的奖励和评估指标。我们在多个公共数据集上进行了广泛的实验，以证明我们的方法在提高 LLM 的信息提取能力方面的有效性。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们提出了一种用于 LLM 信息提取任务的两阶段多步骤方法。我们以 LLM 提取器为环境，设计了一个同时考虑语义正确性和 token 级匹配的奖励模块，并采用强化学习框架来训练决策模型