大语言模型减少幻觉的常见方案

原创 已于 2025-04-18 20:41:23 修改 · 1.2k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #算法 #人工智能

于 2025-04-18 20:41:09 首次发布

什么是大语言模型的幻觉

大语言模型的幻觉（Hallucination）是指模型在生成文本时，输出与输入无关、不符合事实、逻辑错误或完全虚构的内容。这种现象主要源于模型基于概率生成文本的本质，其目标是生成语法合理、上下文连贯的文本，而非严格追求事实准确性

降低幻觉发生概率的方法

常见的5种方法如下

  • 检索增强生成（RAG）：将外部知识库或实时检索信息进行整合，将验证后的结构化数据输入模型，减少模型自由生成的概率
  • Prompt优化：对提示词进行约束，引导模型输出规范，例：命令模型先列出信息来源再总结回答
  • 优化训练数据：提升数据质量，去除噪声数据
  • 调整训练策略：使用DPO（直接偏好优化 Direct Preference Optimization）训练方法，对幻觉问题进行定向修复
  • 优化架构：引入Reflection机制，基于动态错误检测及自我修正，提升输出可靠性，最终降低幻觉

RAG减少幻觉的例子

通过从外部数据库或API中检索实时信息，使模型的输出基于最新的、经过验证的数据。
例，当被问及“当日最新事件时，使用RAG的模型可以检索最新的事件新闻，而不是依赖过时的训练数据。

提示工程减少幻觉

  • 细化提示：将任务分解为多个子任务，避免模型过度发散。细化提示的核心在于将一个模糊、宽泛的任务拆解为多个明确、具体的子任务。每个子任务都有明确的目标和边界，从而让模型能够更聚焦地处理每个部分，避免因任务过于笼统而导致的偏离主题或生成不相关的内容。

Prompt:“生成一篇关于气候变化对全球经济影响的文章”

原始提示的问题是任务过于宽泛，生成的文章可能会涵盖大量无关内容，或者在某些方面过于简略，甚至出现逻辑矛盾。

细化后的Prompt

定义气候变化：简要介绍气候变化的科学背景。
分析主要影响领域：分别讨论气候变化对农业、工业、金融市场等的具体影响。
提供数据支持：引用权威研究数据来支持观点。
探讨应对措施：讨论各国和国际组织采取的应对策略及其效果。
总结和展望：总结气候变化对全球经济的总体影响，并对未来趋势进行预测。
通过细化提示，模型能够更系统地处理每个部分，生成更高质量、更符合任务要求的内容。

优化训练数据

大语言模型的幻觉问题很大程度上源于训练数据中的噪声、错误或不一致信息。这些噪声可能导致模型学习到错误的模式或关联，从而在生成文本时输出与事实不符的内容。通过优化训练数据，可以减少这些噪声的影响，使模型学习到更准确、更可靠的知识，从而降低幻觉的发生概率。
优化方法有数据清洗、数据增强、引入高质量数据源、对抗性训练。

调整训练策略

后训练方法有SFT、DPO、RL，根据实际场景调整策略。

维度监督微调（SFT）直接偏好优化（DPO）强化学习（RL）
方法概述使用大量人工标注的示例数据对预训练模型进行微调，使模型能够理解指令并生成符合人类期望的输出。基于人类偏好的排序数据，直接优化模型的生成策略，无需训练奖励模型。利用人类反馈训练奖励模型，再通过强化学习算法（如PPO）优化模型策略。
适用场景适用于需要快速提升模型在特定任务上的表现，尤其是当有大量标注数据时。适用于有偏好排序数据的场景，尤其是希望简化训练流程、降低计算成本时。适用于需要精确对齐人类偏好的复杂任务，尤其是当偏好数据较为复杂时。
优势训练过程简单，计算成本低，能够快速提升模型在特定任务上的表现。流程简化，训练稳定，资源消耗低，且能有效提升模型输出与人类偏好的一致性。充分利用人类偏好，优化效果好，模型生成内容更符合人类价值观。
劣势可能生成带有偏见或不当内容的文本，且对长距离依赖关系的处理能力有限。性能提升的上限可能低于RLHF，且在复杂偏好场景下的表现可能不如RLHF。训练流程繁琐，资源消耗大，超参数敏感，训练过程不稳定。

基于Reflection机制优化

Reflection（反思或自省机制）是指大语言模型在生成输出后，通过特定方法对自身的行为、决策或输出进行自我评估和修正的过程。其核心目标是让模型具备“自我改进”能力，类似于人类完成任务后的复盘行为。

  • 关键点：
    • 自我监控：模型分析自身输出的合理性、逻辑性或事实准确性。
    • 迭代优化：通过反馈循环（如重生成、修正错误）提升结果质量。
    • 动态调整：根据任务需求调整生成策略（如创意性vs严谨性）。
2. 应用场景
场景作用示例
复杂推理检测逻辑漏洞并修正推理步骤数学证明、代码调试
事实核查通过外部知识库验证生成内容的准确性生成新闻报道时修正错误日期
对话系统评估回复的连贯性和情感适宜性避免冲突性回复，优化用户体验
创意生成迭代改进故事/诗歌的结构和创意性根据反馈调整叙事风格
教育领域自动批改作业并解释错误原因数学解题步骤的自我修正
3. 技术对比
技术机制优势局限
Chain-of-Thought (CoT)分步推理展示过程提升复杂任务透明度无法自动修正错误推理
Self-Refinement生成→评估→迭代修正动态优化输出质量计算成本高，依赖评估标准
Retrieval-Augmented结合外部知识实时验证提高事实准确性检索效率影响响应速度
Human-in-the-Loop人工反馈指导模型修正结果可靠性高难以规模化
Auto-Critique预设评估标准自动打分并修正无需人工干预标准设计可能过于僵化
4. 关键技术方法
  • Prompt工程：通过指令引导反思（如*“请检查以下回答是否存在矛盾？”*）
  • 强化学习：基于奖励模型（如RLAIF）优化生成策略
  • 多智能体模拟：让模型分饰“生成者”和“批评者”角色进行辩论
  • 知识图谱验证：将输出与结构化知识库比对（如Wikidata）
【粉丝福利社】Python预训练视觉和大语言模型
时光隧道
02-21 5万+
你想使用基础模型吗？这是一个很棒的起点！机器学习社区中的许多人多年来一直在关注着这些奇怪的“生物”，从它们最早出现在Transformer模型的最初几天，到它们在计算机视觉中的渗透和扩展，再到我们在当今世界中看到的几乎无处不在的文本生成和交互式对话。但是基础模型是从哪里来的呢？它们是如何工作的？是什么让它们启动，应该在什么时候对它们进行预训练和微调？如何在数据集和应用上尽可能提高性能？需要多少个加速器？端到端应用程序是什么样子的？如何使用基础模型来掌控生成式人工智能？
大语言模型 - 提示词（Prompt）工程入门
秃了也弱了
08-16 3万+
提示词工程，或称Prompt Engineering，是一种专门针对语言模型进行优化的方法。它的目标是通过设计和调整输入的提示词（prompt），来引导这些模型生成更准确、更有针对性的输出文本。在与大型预训练语言模型如GPT-3、BERT等交互时，给定的提示词会极大地影响模型的响应内容和质量。提示词工程关注于如何创建最有效的提示词，以便让模型能够理解和满足用户的需求。这可能涉及到对不同场景的理解、使用正确的词汇和语法结构，以及尝试不同的提示策略以观察哪种效果最佳。1、明确具体：加入场景要求、具体任务。
大型语言模型幻觉检测相关综述
yanqianglifei的专栏
07-02 1691
本综述对大型语言模型（LLMs）幻觉检测领域的关键数据集进行了系统性的梳理与分析。我们全面回顾了81个相关数据集，并基于其核心任务与评估目标，构建了一个包含四大类别——事实核查数据集、问答数据集、多模态幻觉检测数据集和专项幻觉基准——的分类体系。此项工作不仅为研究者提供了一份该领域的详尽资源地图，更重要的是，通过深入剖析各类数据集的设计理念、任务类型、评测指标和局限性，揭示了当前幻觉检测研究的现状、核心挑战与技术演进脉络。
LLM（大语言模型）——大模型简介
m0_74825135的博客
06-04 1400
语言建模的研究始于20世纪90年代，最初采用了统计学习方法，通过前面的词汇来预测下一个词汇。然而，这种方法在理解复杂语言规则方面存在一定局限性。随后，研究人员不断尝试改进，其中在2003年，深度学习先驱Bengio在他的经典论文《A Neural Probabilistic Language Model》中，首次将深度学习的思想融入到语言模型中，使用了更强大的神经网络模型，这相当于为计算机提供了更强大的“大脑”来理解语言。这种方法让模型可以更好地捕捉语言中的复杂关系，虽然这一步很重要，但仍有改进的空间。
AIGC理论基础：大模型通识
热门推荐
herosunly的博客
05-09 11万+
介绍了大模型（LLM）的基本概念、发展脉络、核心结构、训练过程、能力范围、优势与不足、发展现状及分类。大模型包括自然语言处理、多模态和科学计算模型，核心为Transformer架构的注意力机制，具有长距离依赖建模和全局感受野等优势。大模型训练需海量数据、强大算力和参数调整，能力涵盖文本生成、分类、情感分析、知识问答、代码生成、语言翻译和文本摘要等。尽管大模型在提升工作效率和激发创新能力方面表现突出，但仍存在模型幻觉、知识过时和训练成本高昂等问题。当前大模型发展呈现多家竞争态势，模型长度和输出模态不断增加。
大型语言模型综述 A Survey of Large Language Models
chenchihwen的专栏
11-18 1万+
文章源自这是一篇关于大语言模型（LLMs）的综述论文，主要介绍了 LLMs 的发展历程、技术架构、训练方法、应用领域以及面临的挑战等方面，具体内容如下：摘要 —— 自从图灵测试在 20 世纪 50 年代被提出以来，人类已经探索了机器对语言智能的掌握。语言本质上是一个由语法规则支配的复杂、复杂的人类表达系统。它对开发有能力的人工智能（AI）算法来理解和掌握语言提出了重大挑战。作为一种主要方法，语言建模在过去的二十年里被广泛研究用于语言理解和生成，从统计语言模型发展到神经语言模型。
大模型幻觉（Hallucination）概述
qq_54708219的博客
07-10 1245
大模型幻觉是概率生成本质与人类事实需求的结构性矛盾的体现。短期需依赖提示工程+RAG+工具调用的组合拳，中长期需通过RLHF、模块化架构、多模型验证等技术从底层优化。解决幻觉并非追求100%正确（人类专家亦会犯错），而是建立可控制、可追溯、可修正的可靠输出系统。随着检索增强、Agent技术和评估工具的进化，2024年已成为“幻觉治理”的关键突破期。
大语言模型与ChatGPT：深入探索与应用
酷酷的崽的博客
10-15 2267
这篇博客的内容围绕大语言模型的工作原理、架构、应用、挑战及未来发展，旨在帮助读者全面了解ChatGPT等大语言模型的实际应用及其发展方向。
大语言模型（LLM）综述
家鸽的代码屋
10-07 2814
大语言模型综述
大型语言模型中的幻觉研究综述：原理、分类、挑战和未决问题
qq_32907491的博客
05-05 4761
大型语言模型（LLM）的出现标志着自然语言处理（NLP）的重大突破，导致文本理解和生成的显着进步。然而，除了这些进步之外，LLM还表现出产生幻觉的关键倾向，导致内容与现实世界的事实或用户输入不一致。这种现象对它们的实际部署提出了重大挑战，并引起了对LLM在现实世界场景中的可靠性的担忧，这吸引了越来越多的关注来检测和减轻这些幻觉。在这项调查中，我们的目标是提供一个全面和深入的概述LLM幻觉领域的最新进展。我们开始与LLM幻觉的创新分类，然后深入研究的因素，有助于幻觉。
23、大语言模型的挑战与解决方案：深入剖析幻觉问题
water的专栏
09-08 48
本文深入探讨了大语言模型中的幻觉问题，分析其成因、分类及对模型可靠性的影响。文章详细介绍了基于人类反馈的强化学习（RLHF）在提升模型响应质量方面的有效性，并系统梳理了幻觉的三种主要类型：输入冲突、上下文冲突和事实冲突。进一步，文章综述了人工评估、基于模型和基于规则的自动评估方法，以及主流评估基准如TruthfulQA和FActScore。最后，从预训练、微调、RLHF到推理阶段，提出了多层次的幻觉缓解策略，涵盖数据优化、解码控制、外部知识引入和不确定性估计，为提升语言模型的事实一致性与实际应用价值提供了全
46、大语言模型（LLM）解决方案：挑战、策略与应用
ik678901的博客
09-03 65
本文深入探讨了大语言模型（LLM）解决方案的构建、挑战与应用，重点分析了通过DAG工作流处理多跳问答的能力。文章详细讨论了提升LLM准确性和可靠性的多种策略，包括建模实验、提示工程、拒绝采样、多智能体系统等。同时，还涉及运行时性能优化和伦理影响管理，并展望了LLM在不同行业中的应用前景。通过实际用例分析和技术对比，为读者提供了一份全面的LLM解决方案指南。
大语言模型评测方法全面总结！
lhx17673139267的博客
08-06 1091
自2017年Transformer模型提出以来，自然语言处理研究逐步转向基于该框架的预训练模型，如BERT、GPT、BART和T5等。这些预训练模型与下游任务适配后，持续刷新最优结果。然而，现有评测方法存在广度和深度不足、数据偏差、忽视模型其他能力或属性评估等问题。因此，需要全面评测和深入研究模型的各项能力、属性、应用局限性、潜在风险及其可控性等。本文回顾了自然语言处理中的评测基准与指标，将大语言模型评估分为经典和新型评测范式，分析了现有评测的不足。
欧几里得距离算法-相似度
weixin_45609702的博客
12-04 153
本文介绍了一个计算欧几里得距离的Java方法。该方法接收两个Double数组作为输入，通过计算对应元素差值的平方和再开方，返回两个数组之间的欧几里得距离值。当输入数组长度不一致时，方法会返回0作为默认值。欧几里得距离算法常用于比较两个数组之间的相似度，是数据分析和机器学习中的基础距离度量方法。
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 826
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
Leetcode 68 搜索插入位置 | 寻找比目标字母大的最小字母
im_AMBER的博客
12-04 794
你的错误逻辑正确逻辑找到 target 时返回 mid-1找到 target 时，继续向右查找（因为需要「大于」target 的最小字符）target <letters [mid] 时，mid 是候选，需保留，right=mid（左闭右开）或不立即排除 mid循环结束直接返回 letters [0]循环结束后，先判断 left 是否越界：越界则返回 letters [0]，否则返回 letters [left]初始right的取值与「越界判断」不匹配；
C++ ⼀级 2024 年 03 ⽉
weixin_46669997的博客
12-05 13
当 N 为9, 6, 3, 0时，满足条件 N % 3 == 0，因此它们被输出并跟随一个 #。要注意的是，字符串“a+1= ”最后有一个空格，因而输出的内容是：a+1= 2，答案为A。输入21，21%3的结果为0，进入if的分支，因而第4行代码可以被执行。19.【判断题】C++表达式 “10”*2 执行时将报错，因为 “10” 是字符串类型而2是整数类型，它们数据类型不同，不能在一起运算。Cout后面有两个<<，第1个输出字符串5%2=，第2个输出算术运算“5%2”的结果，为1，答案为D。
浅谈：快递物流与算法的相关性（五）
最新发布
Duoya1105的博客
12-05 100
NP-C 的英文全称是 Non-deterministic Polynomial Complete，即多项式复杂程度的非确定性问题。简单的写法是NP=P？，问题就在这个问号上，到底有没有让NP=P的算法，或是如何证明NP≠P。启发式算法的思想是：在不断解决问题的过程中寻找解决问题的最优方案。再举一个通俗的例子：当我们用数字密码解锁手机时，如果我们不知道密码是多少，必须将所有的数字组合依次尝试。这听起来像是一句废话，如果将它抽象一点的表述，就是：能用电脑快速验证一个解的问题，是否也能够用电脑快速地求出解。
2025年全国大学生统计科学与算法编程挑战赛——算法赛道（一）
qq_73044452的博客
12-01 293
摘要：本文包含三个编程问题的解决方案。1) 贪吃蛇问题：通过解析移动指令计算蛇最终所在格子的编号；2) 经济小鱼问题：计算前两局存钱、后两局花钱，最终剩余指定金币的方案数；3) 小理吃甜食问题：模拟多轮糖果挑选过程，计算小理获得的最大总糖果值。每个问题都给出了完整的C++实现代码，涉及字符串处理、数学计算和模拟算法等技术。
大语言模型的向量数据库
04-22
### 大语言模型与向量数据库的实现方案 大语言模型（LLM）在处理自然语言任务时表现出强大的能力，但也存在“幻觉”问题，即生成的内容可能偏离事实或缺乏准确性。为了缓解这一问题，向量数据库作为一种高效的工具被引入到 LLM 的应用场景中[^1]。 #### 向量数据库的作用 向量数据库是一种专为存储和检索高维向量设计的数据库系统。它能够高效地管理非结构化数据的深度学习嵌入，并通过近似最近邻搜索技术找到语义上最相似的结果[^3]。这种特性使得向量数据库非常适合用于增强 LLM 的上下文理解能力和记忆功能。 #### 技术架构概述 一种常见的大语言模型与向量数据库结合的技术架构如下： 1. **文本编码** 使用预训练的语言模型（如 BERT 或 Sentence Transformers），将输入文本转换成固定长度的向量表示。这些向量捕捉了文本的语义信息，便于后续存储和查询[^4]。 2. **向量存储** 将生成的向量存入向量数据库中。例如，Milvus 是一款流行的开源向量数据库，支持大规模向量的高效管理和检索操作[^4]。 3. **查询优化** 当用户发起请求时，先将其转化为对应的向量形式，再利用向量数据库执行 k-NN 查询，返回与之最为相近的一组记录作为候选集[^3]。 4. **结果融合** 结合候选集中提取的信息以及原始的大语言模型预测结果，最终输出更加精准且贴近真实世界的答复[^1]。 #### 示例代码片段 以下是一个简单的 Python 脚本演示如何集成 Hugging Face Transformer 和 Milvus 来构建这样的系统： ```python from sentence_transformers import SentenceTransformer import milvus # 初始化句向量化模型 model = SentenceTransformer('all-MiniLM-L6-v2') # 连接到 Milvus 数据库实例 client = milvus.Milvus(host="localhost", port="19530") def add_to_db(texts): embeddings = model.encode(texts).tolist() client.insert(collection_name="my_collection", records=embeddings) def search_similar(query, top_k=5): query_vector = model.encode([query]).tolist() results = client.search( collection_name="my_collection", query_records=query_vector, top_k=top_k ) return results ``` #### 总结 通过上述方法，不仅可以有效减少大语言模型产生的错误率，还能显著提升其响应质量。此外，借助开放协作模式下的优秀项目资源，比如由 Zilliz 推动发展的 Milvus 平台及其背后活跃的技术社群力量，则进一步降低了开发门槛并促进了创新实践的发展可能性[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值