【大语言模型】ACL2024论文-36 利用NLI和ChatGPT及编码簿知识进行零样本政治关系分类-优快云博客

本文链接：https://blog.youkuaiyun.com/fyf2007/article/details/144732751

【大语言模型】ACL2024论文-36 利用NLI和ChatGPT及编码簿知识进行零样本政治关系分类

本研究探讨了如何不依赖大量标注数据，通过利用现有标注编码簿中的专家知识，实现政治关系分类的零样本学习方法。研究评估了先进的ChatGPT（GPT-3.5/4）和基于自然语言推理（NLI）的模型ZSP的性能。ChatGPT使用编码簿的标记摘要作为提示，而ZSP将分类任务分解为上下文、事件模式和类别消歧，以提炼特定任务的假设。这种分解增强了可解释性、效率和对模式变化的适应性。实验揭示了ChatGPT的优势和局限性，并关键地显示了ZSP在字典基础上的方法和一些监督模型中的优越性。这些发现证实了ZSP在验证事件记录和推进本体发展中的价值。研究强调了利用迁移学习和现有领域专业知识提高研究效率和可扩展性的有效性。代码公开可用。

创新点

零样本学习在政治关系分类中的应用：研究提出了在政治关系分类任务中应用零样本学习方法，这在以往的研究中较为少见。
结合编码簿知识和预训练语言模型：通过结合编码簿中的专家知识和先进的预训练语言模型（如ChatGPT和NLI），提高了分类任务的性能和适应性。
ZSP模型的提出：提出了一种新的基于NLI的模型ZSP，该模型通过分解任务来提高分类的准确性和可解释性。
适应性与可解释性：ZSP模型的设计允许轻松适应本体或模式的变化，同时提供了更好的可解释性。
代码公开：研究提供了公开的代码，使得其他研究者可以复现和进一步研究该工作。

算法模型

ChatGPT

ChatGPT使用编码簿的标记摘要作为提示，以进行零样本的政治关系分类。这种方法利用了预训练语言模型的能力，通过将编码簿知识转化为模型可以理解的提示，从而在没有大量标注数据的情况下进行分类。

ZSP模型

ZSP（Zero-Shot fine-grained relation classification model for PLOVER ontology）是一种基于自然语言推理（NLI）的模型，它将分类任务分解为三个部分：上下文、事件模式和类别消歧。这种分解方法不仅提高了任务的可解释性，还增强了模型对模式变化的适应性。

实验效果

数据集

PLV数据集：从CAMEO编码簿和CoPED数据集中构建，包含1050个训练样本和1033个测试样本。
A/W数据集：从ACE和WikiEvents数据集中构建，包含802个训练样本和805个测试样本。

基线模型

字典基础模型：如Universal PETRARCH（UP）。
监督学习模型：包括BERT-base-uncased、ConfliBERT-scruncased（CBERT）、BART和T5。

结果与结论

ZSP模型：在大多数任务中，ZSP模型的性能与监督学习模型相当，甚至在某些情况下超过了它们。特别是在PLV-Quadcode任务中，ZSP与BERT和T5的性能相当，而CBERT和BART的性能仅略高于ZSP（不到4.3%的差距）。
ChatGPT模型：GPT-3.5在细粒度分类任务中表现不稳定，而GPT-4则在减少格式错误和处理更长输入方面表现出色。GPT-4的有效性表明了大型语言模型在零样本学习中的潜力。
ZSP的混淆矩阵：分析显示ZSP在大多数Rootcodes上分类准确，但在AGREE、SUPPORT、AID和YIELD等标签上存在一些误分类，这些标签之间存在微妙的语义差异。