EventRL: Enhancing Event Extraction with Outcome Supervision for Large Language Models

本文是LLM系列文章，针对《EventRL: Enhancing Event Extraction with Outcome Supervision for
Large Language Models》的翻译。

摘要

在这项研究中，我们提出了EventRL，这是一种为增强大型语言模型（LLM）的事件提取而开发的强化学习方法。EventRL利用具有特定奖励功能的结果监督来解决LLM中普遍存在的挑战，如指令跟随和幻觉，表现为事件结构的不匹配和未定义事件类型的生成。我们针对各种LLM（包括GPT-4、LLaMa和CodeLLaMa模型）中的FewShot提示（FSP）（基于GPT4）和监督微调（SFT）等现有方法来评估EventRL。我们的研究结果表明，EventRL通过提高识别和结构化事件的性能，特别是在处理新的事件类型方面，显著优于这些传统方法。该研究强调了奖励函数选择的关键作用，并证明了结合代码数据以更好地提取事件的好处。虽然增加模型大小会带来更高的精度，但保持泛化能力对于避免过拟合至关重要。

1 引言

2 相关工作

3 EventRL

4 实验设置

5 实验结果

6 结论

在这项工作中，我们证明了EventRL，一种强化学习方法，显著提高了LLM在事件提取中的性能。通过专注于结果监督和利用专门的奖励功能，Even