2025_NIPS_Alleviating Hallucinations in Large Language Models through Multi-Model Contrastive Decodi

文章核心总结与翻译

一、主要内容

该研究针对大型语言模型（LLMs）的幻觉问题（生成与预训练语料不一致的内容），提出了多模型对比解码（MCD）策略及配套机制，具体包括：

1. 核心痛点：现有对比解码方法仅依赖单一易幻觉模型（邪恶模型）进行对比，虽能缓解幻觉，但对事实性内容的置信度不足，难以准确区分事实与幻觉token。
2. 核心框架：
   • 训练阶段：通过反向直接偏好优化（CDPO）诱导幻觉生成邪恶模型，通过直接偏好优化（DPO）增强事实性生成真实模型；
   • 推理阶段：整合预训练模型、邪恶模型和真实模型的输出概率，构建多模型对比分布，放大事实token与幻觉token的概率差距；
   • 辅助机制：引入动态幻觉检测（逐token识别潜在幻觉）和树形修正机制（多路径探索并筛选最优事实路径），进一步降低幻觉。
3. 实验验证：在TruthfulQA、FActScore、FACTOR（News/Expert/Wiki）三大基准测试中，MCD在开放式生成、多项选择、长文本生成等任务上均优于现有对比解码（CD、DoLa等）和表征编辑（CCS、ITI等）方法，显著提升模型输出的事实准确性。

二、创新点

1. 提出多模型对比解码（MCD）：首次整合邪恶模型（诱导幻觉）和真实模型（强化事实）进行对比，解决了单一对比模型置信度不足的问题，提升事实token的置