How Much Content Do LLMs Generate That Induces Cognitive Bias in Users?

文章主要内容总结

本文聚焦大型语言模型（LLMs）在生成内容时对用户认知偏差的影响，通过摘要生成和新闻事实核查任务，评估了三个LLM家族的表现，核心内容如下：

1. LLMs引发认知偏差的表现：

   • 在21.86%的案例中，LLMs生成的摘要改变了原始文本的情感倾向（框架偏差）；
   • 在57.33%的案例中，LLMs对知识截止日期后的信息产生幻觉（生成虚假内容），导致权威偏差或确认偏差；
   • 在5.94%的案例中，LLMs过度聚焦原始文本的开头部分（首因偏差），引发用户的暴露偏差。

2. 评估方法与指标：

   • 提出框架偏差分数（φ_frame），衡量摘要与原始文本的情感差异；
   • 提出首因偏差分数（ψ_pri），通过余弦相似度评估摘要对文本开头的过度聚焦；
   • 提出严格准确率（s_H^T）和差异度（δ_H），衡量LLMs对知识截止前后信息的幻觉程度。

3. 缓解方法效果：

   • 评估了18种缓解策略，发现针对性干预有效：例如，加权摘要（Weighted Summaries）和Mirostat解码能减少框架偏差和位置偏差；认知标签（Epistemic Tagging）能提升知识截止后信息的事实可靠性。

创新点

<