Incoherent Beliefs & Inconsistent Actions in Large Language Models

论文核心总结与翻译

主要内容

该论文聚焦大型语言模型（LLMs）在动态真实场景中的行为一致性，围绕三个核心问题展开研究：LLM是否能连贯更新信念、行动是否与信念一致、用户互动中是否保持一致性。通过对7个主流模型（3个开源+4个闭源）的实验发现：LLM的信念更新显著偏离贝叶斯规则，甚至加入新信息后预测准确性下降；在投注任务中，模型行动常与自身信念冲突， directional一致性最高不足79%；用户质疑场景下，模型仅表现出中等程度的一致性，且存在跨数据集的显著差异。此外，静态任务中的准确率和校准度无法有效预测这些一致性表现。

创新点

1. 首次从信念更新连贯性、信念-行动一致性、用户互动一致性三个维度，系统研究LLM在动态场景中的行为一致性。
2. 设计了多场景实验范式（贝叶斯信念更新、预测市场投注、用户质疑回应），量化了不同一致性指标。
3. 发现强模型（高准确率、良好校准度）同样存在一致性缺陷，且静态指标与动态一致性无强关联。
4. 提出提示工程和激活引导两种干预方法，有效改善了模型的互动一致性。

---

翻译部分

Abstract（摘要）

现实世界的任务和环境与大型语言模型（LLMs）通常所评估的静态数据集存在差异。这类任务可能涉及序列交互，需要根据新证据连贯地更新信念，并基于这些信念做出恰当决策。预测LLMs在这类动态环境中的表现至关重要，但仅通过静态场景的测量难以准确判断。本研究考察了LLM性能