The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models

LLM幻觉研究：检测、来源与缓解

UnknownBody

于 2024-02-19 10:25:13 发布

阅读量1.1k

点赞数 34

CC 4.0 BY-SA版权

分类专栏： Survey Paper LLM hallucination 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136163118

Survey Paper 同时被 3 个专栏收录

275 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM 日更

828 篇文章

已下架不支持订阅

LLM hallucination

34 篇文章

订阅专栏

本文深入探讨大型语言模型（LLM）的幻觉问题，包括如何检测、产生的原因以及缓解策略。研究建立了HaluEval 2.0幻觉基准，并通过自动检测方法分析LLM在预训练、微调、RLHF和推理阶段的幻觉来源。实验评估了多种缓解技术，并揭示了幻觉现象的关键洞察。

本文是LLM系列文章，针对《The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models》的翻译。

摘要

在大型语言模型（LLM）时代，幻觉（即生成事实上不正确内容的趋势）对LLM在现实世界应用中的可信和可靠部署提出了巨大挑战。为了解决LLM幻觉，应该好好研究三个关键问题：如何检测幻觉（检测），LLM为什么会产生幻觉（来源），以及如何减轻幻觉（缓解）。为了应对这些挑战，本工作对LLM幻觉进行了系统的实证研究，重点关注幻觉检测、来源和缓解三个方面。特别地，我们构建了一个新的幻觉基准HaluEval 2.0，并设计了一种简单有效的LLM幻觉检测方法。此外，我们深入研究了LLM的不同训练或使用阶段，并广泛分析了导致LLM幻觉的潜在因素。最后，我们实现并检查了一系列广泛使用的技术，以减轻LLM中的幻觉。我们的工作已经导致了几个重要的发现，以了解幻觉的起源并减轻LLM中的幻觉。我们的代码和数据可以访问https://github.com/RUCAIBox/HaluEval-2.0。