对比是否有Context，在解码阶段消除大模型幻觉

最新推荐文章于 2025-10-14 21:43:06 发布
原创 最新推荐文章于 2025-10-14 21:43:06 发布 · 273 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大模型 #幻觉

本文探讨了在自然语言处理中，通过对比有上下文和无上下文的Logit计算来减少模型对过度记忆知识的依赖，提出了一种简单方法，即结合两个logit分布并通过加权相减来得到更精确的预测。这种方法有助于修正pretrain阶段出现的错误知识。

实现方式

对比【有Context】和【没有Context】，影响Logit的计算，从而降低幻觉：

1. 对比生成的方式，一个是有上下文，一个没有，计算时，分别得到两个Logit分布；

2. 综合两个logit分布(加权相减的方式)，得到最终的logit分数，然后进行next-token predict

实现原理

对于有些pretrain阶段过于牢记的知识，使用了Context不一定能够直接改正过来；

使用对比的方式，可以得到使用了Context之后，相对提升最大的词分布，非常简单的方式。

地址

https://arxiv.org/pdf/2305.14739.pdf

wendaJ
关注
大语言模型的incontext学习原理与代码实例讲解
AI架构师小马
12-30 1054
大语言模型，in-context学习，自然语言处理，Transformer，代码实例，机器学习 1. 背景介绍 近年来，大语言模型（Large Language Models，LLMs）在自然语言处理（Natural Language Processing，NLP）领域取得了显著的进
编码器型与解码器型语言模型的比较
刘念卿的博客
05-07 458
自然语言处理（NLP）领域近年来取得了革命性进展，这在很大程度上归功于基于Transformer架构的语言模型。在这一技术生态中，编码器型（Encoder-only）和解码器型（Decoder-only）语言模型代表了两种根本不同的架构范式。这两类模型在设计理念、信息处理方式和适用场景上存在本质差异，理解它们的深层理论区别对于选择合适的技术路线、优化模型性能以及推动未来创新至关重要。
大模型之可解释理论框架InContextLearning
sinat_19559525的博客
02-21 1532
大模型的ICL过程，也被称为情景学习和上下文学习，该过程的一个显著特性是其可以从少量的示例集合中学习新规则，并且泛化到新的查询样本中。例如，我们给定一些输入示例：“Apple->Red、Lime->Green”，提示模型对新的查询“Corn->”产生输出为“Yellow”，如下图所示，模型可以仅基于两个示例就学习到了用户的目标映射关系。此外，作者也提到本文的方法与软提示（soft-prompt）方法类似，
大语言模型的上下文窗口（Context Windows）：对人工智能应用的影响
Appen_China的博客
09-05 925
在大语言模型领域，上下文窗口是指模型在生成或理解语言时可以接收的文本量。这个窗口以一定数量的标记（单词或单词的部分）来衡量，并直接影响模型在后续标记预测中可以利用的信息量。因此，它在确定模型做出连贯且与上下文相关的响应或分析的能力方面至关重要。在传统的基于变压器的模型中增加上下文窗口大小非常困难。这是因为，虽然上下文窗口大小呈线性增长，但模型参数的数量呈二次方增长，导致扩展的复杂性。
一份全面的大模型「幻觉」综述
u012744245的博客
11-21 4430
，来自腾讯AI实验室和一些国内大学的研究团队，综述提出了LLM幻觉现象的分类法和评估基准，分析旨在减轻LLM幻觉的现有方法，并确定未来研究的潜在方向。将重点放在解决与数据相关的幻觉、与训练相关的幻觉和与推理相关的幻觉的方法上，每种方法都提供了量身定制的解决方案，以应对各自原因所固有的特定挑战。）从LLM幻觉的创新分类方法出发，深入探究了可能导致幻觉的因素，并对检测幻觉的方法和基准进行了概述。目前在LLM幻觉问题上已经有无数的研究，比如关于幻觉的检测、幻觉的评估基准分类、缓解幻觉的方法等。
大模型生成幻觉的降低方法全解析
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
05-10 1472
大模型的幻觉问题是由多种因素引起的，单一的方法可能无法完全消除幻觉，但通过综合运用检索增强生成、提示工程、链式推理、后处理验证、知识蒸馏、参数自适应等多种方法，可以从不同角度降低幻觉发生的概率，提升模型生成内容的准确性和可靠性。在实际应用中，应根据具体的任务需求、资源情况等因素，选择合适的方法或组合，不断优化和调整策略，以最大限度地减少幻觉对模型性能和用户体验的影响，推动大模型在各个领域的更广泛应用和更可靠服务。
大模型 RAG 遇到幻觉内容怎么办？
机器学习社区
06-12 1193
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。大模型用于文本生成对话表现不错，但是一旦应用到需要密集专业知识的场景中时，就没有办法准确回复。好像一个没来听课的学霸考生，不可能什么知识都背下来（知识注入型预训练成本太大），因此这种情况下一般依赖他室友（检索器）给他准备开卷考试资料。
一文解析大语言模型LLM的幻觉问题：消除错觉、提高认知
python122_的博客
07-25 1424
在人类的感知和认知过程中，幻觉一直是一个被广泛讨论和研究的问题。幻觉指的是一种虚假的感知或认知经验，使我们看到、听到或感受到不存在的事物或事件。无论是在科学领域还是日常生活中，幻觉都引发了极大的兴趣和好奇心。为了更好地了解幻觉的产生机制和解决方法，我们迫切需要深入探索这个领域。随着人工智能技术的迅猛发展，大语言模型（LLM）在各个领域展现出了惊人的能力和潜力。然而，正如人类一样，LLM也会面临幻觉问题的挑战。幻觉在LLM中指的是产生虚假、不准确或误导性输出的现象，这可能对其可靠性和可信度造成负面影响。
聊一聊大模型幻觉问题及其解决方案
Kaiyuan_sjtu的博客
11-07 754
导读大模型幻觉问题在大模型应用过程中，非常阻碍实际业务落地。解决该问题是一项复杂的系统工程任务，需多角度综合探索。业界正通过持续的研究与实践，寻找更有效的检测与缓解策略，以提升大模型的可靠性、安全性与实用性。本文将从五个方面探讨大模型幻觉问题，具体探讨内容如下：1.什么是大模型幻觉问题2.360 可信大模型的幻觉解决方案3.360 可信大模型应用案例4.360 可信大模型的未来探索5....
2024最新整理—超全超详细大模型幻觉综述笔记
qkh1234567的博客
09-11 3792
2024最新整理—超全超详细大模型幻觉综述笔记，简单来说，所谓幻觉是指大模型生成的内容与原始内容之间存在差异，可能表现为错误、遗漏或偏离原意，即通常所说的与源内容不一致或不忠实。实际上，大模型的幻觉范围更加广泛，而且主要集中在事实性错误上。因此，作者团队重新定义了幻觉的分类，并提出了一个更精确的框架，适用于大模型的应用，
大模型幻觉研究（上）：数据质量和分布如何导致幻觉
New World
07-23 1281
摘要：本文探讨了大语言模型（LLM）的"幻觉"问题，即生成看似合理但不符合事实或偏离指令的内容。研究将幻觉分为两类：事实性幻觉（与真实世界不符）和忠实性幻觉（与指令/上下文不符）。分析表明，幻觉主要源于三大因素：训练数据质量（包括预训练、监督微调、强化学习数据）、模型训练过程（目标函数局限性）和推理机制。其中训练数据问题是导致幻觉的最主要原因。文章指出LLM训练目标仅关注统计拟合度而非内容真实性，导致模型可能生成虚构内容。后续研究将探讨幻觉检测与解决方案。（149字）
大型语言模型中的幻觉研究综述：原理、分类、挑战和未决问题
qq_32907491的博客
05-05 4785
大型语言模型（LLM）的出现标志着自然语言处理（NLP）的重大突破，导致文本理解和生成的显着进步。然而，除了这些进步之外，LLM还表现出产生幻觉的关键倾向，导致内容与现实世界的事实或用户输入不一致。这种现象对它们的实际部署提出了重大挑战，并引起了对LLM在现实世界场景中的可靠性的担忧，这吸引了越来越多的关注来检测和减轻这些幻觉。在这项调查中，我们的目标是提供一个全面和深入的概述LLM幻觉领域的最新进展。我们开始与LLM幻觉的创新分类，然后深入研究的因素，有助于幻觉。
大模型在生成内容时可能出现幻觉，如何检测和缓解呢
qq_57565004的博客
10-14 458
大模型"幻觉"指生成看似合理实则错误的内容，源于数据缺陷、概率预测特性和信息损失。检测方法包括事实核查、不确定性分析和自我修正。缓解策略需多管齐下：优化训练数据、采用检索增强生成、调整解码策略等。核心是通过知识增强和过程控制，在保持创造力的同时减少错误信息输出。
TaD+RAG-缓解大模型“幻觉”的组合新疗法
京东零售技术的博客
07-15 1961
本文入选顶会IJCAI2024，京东技术团队联合清华大学提出缓解大模型“幻觉”新技术！
mamba-ssm-2.2.2-cp310-cp310-win-amd64.whl+安装环境+测试脚本.7z
最新发布
12-15
编译环境： vs2022 win10 x64 anaconda3+python3.10 torch==2.3.1+cu118 cuda11.8.0+cudnn8.9.7 triton==2.1.0 causal_conv1d==1.4.0 mamba==2.2.2 RTX2070显卡 注意编译的whl是不能用于RTX50显卡的，可以用于RTX20-RTX40系列显卡，安装时候尽量和模块一致
toplus1s_calculator_32040_1765656584703.zip
12-15
toplus1s_calculator_32040_1765656584703.zip
【创新无忧】基于多元宇宙优化算法MVO优化相关向量机RVM实现数据多输入单输出回归预测附matlab代码.zip
12-15
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
基于可靠性评估序贯蒙特卡洛模拟法的配电网可靠性评估研究（Matlab代码实现）
12-15
基于可靠性评估序贯蒙特卡洛模拟法的配电网可靠性评估研究（Matlab代码实现）内容概要：本文围绕“基于可靠性评估序贯蒙特卡洛模拟法的配电网可靠性评估研究”，介绍了利用Matlab代码实现配电网可靠性的仿真分析方法。重点采用序贯蒙特卡洛模拟法对配电网进行长时间段的状态抽样与统计，通过模拟系统元件的故障与修复过程，评估配电网的关键可靠性指标，如系统停电频率、停电持续时间、负荷点可靠性等。该方法能够有效处理复杂网络结构与设备时序特性，提升评估精度，适用于含分布式电源、电动汽车等新型负荷接入的现代配电网。文中提供了完整的Matlab实现代码与案例分析，便于复现和扩展应用。; 适合人群：具备电力系统基础知识和Matlab编程能力的高校研究生、科研人员及电力行业技术人员，尤其适合从事配电网规划、运行与可靠性分析相关工作的人员； 使用场景及目标：①掌握序贯蒙特卡洛模拟法在电力系统可靠性评估中的基本原理与实现流程；②学习如何通过Matlab构建配电网仿真模型并进行状态转移模拟；③应用于含新能源接入的复杂配电网可靠性定量评估与优化设计； 阅读建议：建议结合文中提供的Matlab代码逐段调试运行，理解状态抽样、故障判断、修复逻辑及指标统计的具体实现方式，同时可扩展至不同网络结构或加入更多不确定性因素进行深化研究。
基于控制李雅普诺夫-屏障函数(CLBF)与分布式模型预测控制（DMPC）研究（Matlab代码实现）
12-15
基于控制李雅普诺夫-屏障函数(CLBF)与分布式模型预测控制（DMPC）研究（Matlab代码实现）内容概要：本文介绍了基于控制李雅普诺夫-屏障函数（CLBF）与分布式模型预测控制（DMPC）的电力系统优化控制研究，并提供了相应的Matlab代码实现。该研究聚焦于提升含光热电站电力系统的安全性与稳定性，特别计及N-k安全约束，通过结合CLBF的稳定性保证能力和DMPC的分布式协同优化优势，实现对复杂电力系统的高效、可靠控制。文中还展示了多个相关
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值