The Idola Tribus of AI: Large Language Models tend to perceive order where none exists

该文章核心是揭示大语言模型（LLMs）存在“部落偶像”（Idola Tribus）倾向——即便在随机数列中也会虚构不存在的规律，同时提出通过特定提示词缓解该问题的思路。创新点在于首次将人类认知偏差中的“部落偶像”概念迁移到LLMs研究，且以无固定答案的数列规律识别任务，独立于知识准确性评估模型的逻辑一致性缺陷。

一、文章主要内容总结

1. 研究背景：LLMs在复杂任务（如AI代理框架、检索增强生成）中依赖逻辑一致性，但存在幻觉、逻辑跳跃等问题，而现有评估多聚焦有固定答案的推理任务，缺乏对无固定答案场景中模型归纳能力的考察。
2. 实验设计：
   • 构建8类共724个整数数列，涵盖算术、几何、带误差的准规律数列及完全随机数列。
   • 选取5个主流LLMs（含GPT-4.1、o3、Gemini 2.5等具备多步推理能力的模型），要求其解释数列规律，并用o3模型作为“评估者”判断结果有效性（分4类：符合预设规则、正确但不符预设、错误、判定为随机）。
3. 核心发现：
   • LLMs能100%识别算术数列规律，对几何、差分数列识别率较高，但在准规律数列（含单误差）和随机数列中表现显著下降。
   • 所有模型（包括多步推理模型）在随机数列中普遍“虚构规律”，体现“部落偶像”倾向；仅当提示词明确允许“判定为随机”时，模型识别随机数列的成功率才显著提升（如o3对随机数列的成功率从52%升至94%）。
   • 多步推理模型（如o3、o4-mini）虽整体表现优