一、文章主要内容
文章围绕大型语言模型(LLMs)在因果判断和道德判断任务中与人类直觉的一致性展开研究。研究团队从24篇认知科学论文中收集场景数据集,标注影响人类判断的关键因素,通过零样本实验、边际成分效应(AMCE)分析等方法,评估不同规模、训练方式的LLMs表现。结果显示,模型规模扩大和RLHF等技术能提升整体一致性,但LLMs对各影响因素的权重分配与人类差异显著,且相同训练方法的模型也存在隐性倾向差异。
二、创新点
- 构建结构化数据集:整合认知科学文献中的精心设计场景,标注影响因果/道德判断的关键因素(如因果结构、个人力量、可避免性等),解决了现有数据集缺乏实验控制的问题。
- 深入分析隐性倾向:采用AMCE方法揭示LLMs和人类对各因素的隐性偏好,突破了仅依赖整体指标对比的局限。
- 多维度模型评估:涵盖不同规模、训练技术(RLHF、蒸馏、多模态)的LLMs,探究人格提示、自动提示优化对模型判断的影响。
三、核心部分翻译(Markdown格式)
Abstract
人类对物理世界和社会世界的常识性理解是围绕直觉理论构建的。这些理论支撑着人们做出因果判断和道德判断。当不好的事情发生时,我们会自然地追问:谁做了什么,以及为什么这么做?认知科学领域的大量文献已经研究了人类的因果直觉和道德直觉。这项研究揭示了许多会系统性影响人类判断的因素,例如规范的违反,以及伤害是可避免的还是不可避免的。我们从24篇认知科学论文中收集了场景故事数据集,并
订阅专栏 解锁全文
1470



被折叠的 条评论
为什么被折叠?



