Empirical Analysis of Dialogue Relation Extraction with Large Language Models

本文是LLM系列文章，针对《Empirical Analysis of Dialogue Relation Extraction with Large Language Models》的翻译。

摘要

对话关系提取（DRE）旨在提取对话中两个论点之间的关系，由于对话中人称代词频率较高，信息密度较低，因此比标准RE更具挑战性。然而，现有的DRE方法仍然存在两个严重的问题：（1）难以捕获长而稀疏的多回合信息，（2）难以基于部分对话提取黄金关系，这促使我们发现更有效的方法来缓解上述问题。我们注意到，大型语言模型（LLM）的兴起引发了人们对评估其在不同任务中的性能的极大兴趣。为此，我们首先研究了DRE中不同LLM的能力，考虑了专有模型和开源模型。有趣的是，我们发现LLM显著缓解了现有DRE方法中的两个问题。一般来说，我们有以下发现：（1）扩大模型大小大大提高了整体DRE性能，并取得了出色的结果，解决了捕获长而稀疏的多轮信息的困难；（2） 与现有方法相比，LLM从整个对话设置到部分对话设置的性能下降要小得多；（3） 和目前的技术相比，LLM在全样本和小样本两种情况下都能提供有竞争力或更优的表现；（4） LLM在逆关系上表现平平，但在一般关系上表现出更强的改进，它们可以处理各种长度的对话，特别是对于较长的序列。

1 引言

2 对话关系提取(DRE)

3 DRE的大型语言模型

4 实验

5 分析