A Benchmark for Zero-Shot Belief Inference in Large Language Models

文章主要内容总结

该研究聚焦大型语言模型（LLMs）在零样本场景下的信念推理能力，核心是构建了一个系统、可复现的基准测试框架，用于评估LLMs对人类在多样化主题上立场的预测效果。研究使用Debate.org数据集，提取了涵盖宗教、科学、体育、娱乐等23个类别的119,119条独特信念陈述，涉及5,712名用户，并设计了四种信息输入条件（无背景信息的“盲测”、仅人口统计学信息、仅已知信念、人口统计学+已知信念），对9个主流开源LLMs（如Gemma 3、Llama 3系列、Phi 4等）进行测试。

研究发现：1）提供更丰富的背景信息（尤其是人口统计学+已知信念组合）能持续提升预测准确率，相较于盲测基准，组合条件下宏观F1分数平均提升7.8个百分点；2）不同信念领域的预测性能差异显著，宗教、政治、科学等观点明确且社会关注度高的领域表现最佳，而部分生活化领域表现较弱；3）模型集成（多数投票）比单一模型平均表现更优，不同模型存在互补性；4）过量（超过50条）的上下文信念反而会导致性能下降，反映出LLMs处理长序列信息的局限性。此外，研究还发现部分场景下添加人口统计学信息可能削弱预测效果，揭示了LLMs在信念推理中的结构性能力与边界。

创新点

1. 构建跨领域零样本信念推理基准：突破现有研究局限于社会政治领域的现状，涵盖23个多样化信念类别，首次系统性评估LLMs在无微调情况下的跨领域信念预测能力，提供了可复现的数据集和测试框架。
2. 多信息条件的消融实验设计：通过四种梯度化信息输入条件，量化了人口统计学特征与已知信念对预测效果的独立贡献及协同作用，明确了不