Constructions Are So Difficult That Even Large Language Models Get Them Right for the Wrong Reasons

本文是LLM系列文章，针对《Constructions Are So Difficult That Even Large Language Models
Get Them Right for the Wrong Reasons》的翻译。

摘要

在本文中，我们所做的贡献可以从两个角度来理解：从NLP的角度来看，我们为NLI引入了一个具有大词汇重叠的小挑战数据集，该数据集最大限度地减少了模型仅基于标记区分来识别隐含的可能性，并表明GPT-4和Llama 2在很大程度上不符合要求。然后，我们创建了更具挑战性的子任务来解释这一失败。从计算语言学的角度来看，我们识别出一组具有三类形容词的结构，这些形容词不能通过表面特征来区分。这使我们能够以各种方式探究LLM对这些结构的理解，我们发现它们在各种方式上都无法区分它们，这表明它们没有充分表达其含义或捕捉短语头的词汇特性。

1 引言

2 相关工作

3 数据集

4 自然语言推理

5 语法可接受

6 结论

总的来说，我们最引人注目的结果仍然是，LLM在我们的NLI任务中没有充分发挥作用，而这一结果并不能用子任务的平庸但优于基线的表现来充分解释。Llama 2在这些模型中的表现比GPT模型更好，但一般来说，提示结果通常始终低于随机分类器结果，而探测分类器结果仅略高于基线。
有趣的是，GPT-4在任何任务中的表现都不明显优于GPT-3.5。在中心NLI任务和子任务中，所有LLM都表现出提供积极答案的偏见。Llama 2表明，与GPT模型相比，它对CEC中的语法结构有了更全面的理解，增强了识别句子中因果关系的能力，并更熟练地确定因果关系的方向。这些发现与我们在