(Ir)rationality and Cognitive Biases in Large Language Models

本文是LLM系列文章，针对《(Ir)rationality and Cognitive Biases in Large Language Models》的翻译。

摘要

大型语言模型（LLM）是否显示出理性推理？LLM已被证明包含人类偏见，这是由于它们所训练的数据；这是否反映在理性推理中还不太清楚。在本文中，我们通过使用认知心理学文献中的任务评估七种语言模型来回答这个问题。我们发现，像人类一样，LLM在这些任务中表现出非理性。然而，这种非理性的表现方式并没有反映出人类所表现出的非理性。当LLM对这些任务给出不正确的答案时，它们往往是不正确的，与人类的偏见不同。除此之外，LLM在反应的显著不一致性中揭示了另一层非理性。除了实验结果之外，本文还试图通过展示我们如何评估和比较这些类型模型的不同能力，在这种情况下，在理性推理方面，做出方法上的贡献。

1 引言

2 方法

3 结果

4 讨论

5 结论

尽管LLM被广泛采用，但研究人员仍在开发评估和评估其能力的方法。在本文中，我们将这些模型视为认知实验的参与者，越来越多的文献采用了这种方法。在这样做的过程中，我们分析了它们所表现出的推理。我们已经表明，本文评估的七个模型显示出与人类不同类型的非理性；这种非理性可以从两个维度来观察。首先，LLM给出的回答往往显示出与人类观察到的认知偏见不同的错误推理。这可能意味着计算中的错误，或违反逻辑和概率规则，或简单的事实不准确。其次，反应的不一致性揭示了另一种形式的非理性——同一任务的单一模型给出的反应存在显著差异。这对这些模型在关键应用和场景中的潜在用途有影响，如外交或医学。因此，这里介绍的工作可以作