Can Large Language Models perform Relation-based Argument Mining?

本文是LLM系列文章，针对《Can Large Language Models perform Relation-based Argument Mining?》的翻译。

摘要

自变量挖掘（AM）是从文本中自动提取自变量及其组成部分和/或自变量与组成部分之间的关系的过程。随着支持在线辩论的平台数量的增加，对AM的需求变得越来越迫切，尤其是在支持下游任务方面。基于关系的AM（RbAM）是一种AM形式，专注于识别论点之间的一致（支持）和不一致（攻击）关系。RbAM是一项具有挑战性的分类任务，现有的方法无法令人满意地执行。在本文中，我们展示了通用大型语言模型（LLM），经过适当的预处理和提示，可以显著优于性能最佳（基于RoBERTabbased）的基线。具体来说，我们用10个数据集对两个开源LLM（Llama-2和Mistral）进行了实验。

1 引言

2 相关工作

3 RbAM的LLM

4 实验设置

5 结果

6 结论和未来工作

我们介绍了一种使用通用LLM的RbAM任务方法，该方法经过适当的初始化和提示。我们在10个数据集和5个开源LLM（其中一半以上已量化）上的实验表明，Llama 70B-4bit和Mixtral 8x7B-4 bit超过了RoBERTa基线，前者优于后者，但也带来了推理时间较慢和GPU需求更大的缺点。<