在AI模型迭代速度持续加快的本周,OpenAI一篇题为《Why Language Models Hallucinate》(语言模型为何产生幻觉)的论文,为AI领域长期存在的“幻觉难题”提供了全新视角,也迅速引发业界对AI可靠性、模型设计与评估体系的广泛讨论。这篇论文跳出了“将幻觉视为神秘技术漏洞”的传统认知,通过统计学框架拆解问题核心,同时也因观点争议成为本周AI圈的焦点话题。

论文核心:用“统计学逻辑”拆解AI幻觉的成因
OpenAI的研究团队并未将AI幻觉归因于模型架构的偶然缺陷,而是通过严谨的统计分析,提出了两个关键结论,试图揭开幻觉产生的底层逻辑:
1. 幻觉率与“有效性分类能力”直接挂钩
论文将语言模型的文本生成过程,简化为一个名为“Is-It-Valid”(IIV,是否有效)的二分类任务——即模型需要先判断“某个表述是否符合事实”,再基于此生成内容。研究发现,模型的生成错误率(幻觉率)下限约为其IIV误分类率的两倍。
用通俗语言解释:如果一个模型无法可靠地区分“正确表述”与“错误表述”,那么它生成错误内容(幻觉)就是必然结果。比如,当模型面对“某小众历史人物的出生日期”这类信息时,若无法判断“1980年1月1日”与“1985年3月5日”哪个更可信,最终输出错误答案的概率便会大幅上升。
2. “单例数据”是幻觉的高风险源头
论文首次明确提出“singleton rate”(单例率)的概念——即那些在训练数据中仅出现过一次的事实(如某个普通人的生日、某篇冷门论文的摘要细节)。研究证明,这类“单例信息”是AI幻觉的重灾区:对于任意单例事实,模型的幻觉率至少等于训练数

最低0.47元/天 解锁文章

868

被折叠的 条评论
为什么被折叠?



