LARGE LANGUAGE MODELS AS ‘HIDDEN PERSUADERS’: FAKE PRODUCT REVIEWS ARE INDISTINGUISHABLE TO HUMANS A

文章主要内容总结

本文通过三项研究探讨了大型语言模型（LLMs）生成的虚假产品评论与真实评论的可区分性，核心发现如下：

1. 人类无法有效区分真假评论：人类区分真实评论与LLM生成的虚假评论的平均准确率仅为50.8%，接近随机水平；且存在“怀疑偏见”——对过于正面的评论持怀疑态度，却容易误判虚假负面评论的真实性。
2. LLMs同样无法有效区分：最先进的LLMs在区分真假评论时表现与人类相当甚至更差，且存在“真实性偏见”——倾向于将大多数评论判定为真实，依赖表面文本特征（如长度、结构复杂度）而非深层真实性线索。
3. 人类与LLMs的判断策略差异：两者准确率相近，但精确率、召回率和F1分数不同，表明它们在判断的不同方面存在缺陷。人类依赖直觉和情感线索，LLMs依赖统计模式和表面特征。

文章创新点

1. 首次系统对比人类与LLMs的表现：首次通过实证研究基准，比较人类与最先进LLMs在区分真假产品评论上的能力，揭示两者表现均接近随机的现状，凸显当前检测能力的根本性挑战。
2. 识别不同判断启发式策略：明确人类（依赖“怀疑偏见”，对过于正面的内容存疑）与LLMs（依赖“真实性偏见”，依赖表面文本特征）在判断评论真实性时的核心差异，为理解“机器心理”与人类认知偏差提供新视角。

翻译部分