ANCHORING BIAS IN LARGE LANGUAGE MODELS: AN EXPERIMENTAL STUDY

本文是LLM系列文章，针对《ANCHORING BIAS IN LARGE LANGUAGE MODELS: AN EXPERIMENTAL STUDY》的翻译。

摘要

GPT-4 和 Gemini 等大型语言模型 (LLM) 使机器能够生成和理解类似人类的文本，从而显着提高了人工智能的性能。尽管LLM拥有令人印象深刻的能力，但它也并非没有限制。他们表现出了各种偏见。尽管许多研究都探讨了人口统计学偏见，但LLM的认知偏见尚未得到同等研究。这项研究深入研究了锚定偏差，这是一种认知偏差，初始信息不成比例地影响判断。利用实验数据集，我们研究了锚定偏差在LLM中的表现，并验证了各种缓解策略的有效性。我们的研究结果强调了LLM对有偏见的暗示的反应的敏感性。同时，我们的实验表明，为了减轻锚定偏差，需要从全方位的角度收集提示，防止LLM被锚定到个别信息上，而简单的算法，如Chain-of-Thought、Thoughts ofprinciples 、忽略锚点提示和反射还不够。

1 引言

2 相关工作

3 我们的方法

4 结果分析

5 缓解策略

6 结论

总之，我们的研究表明，锚定偏见在大型语言模型中普遍存在，对其可靠性和公平性构成了重大挑战。特别是，强模型始终显示出它们容易受到锚定效应偏差的影响。他们很容易受到提示中呈现的“专家”意见的影响，即使我们明确要求他们不要遵循专家意见，我们也无法纠正他们的行为。同时，我们尝试了各种策略，包括思维链、原则思考、忽略锚提示和反思，以减轻LLM中的锚定偏见。尽管这些策略在许多推理任务中都有应用前