对比不同Layer输出，在解码阶段消除大模型幻觉

已于 2024-02-19 17:40:16 修改
阅读量430 收藏
点赞数 5
CC 4.0 BY-SA版权
文章标签： AIGC 大模型 幻觉
于 2024-02-19 17:38:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chazhongxinbitc/article/details/136175408
本文介绍了一种深度学习模型中减少幻觉现象的方法，通过比较最后一层的logit与其他层的结果，选择最不相似的分布进行融合，以此来改进模型的性能。这种方法通过简单的对比策略调整logit值，有助于提高模型的稳定性和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

实现方式

对比最后一层出来的logit，和前面Layer出来的logit，消除差异过大的分布，从而降低幻觉：

  1. 最后一层Layer出来的logit容易的得到；

  2. 选择与最后一层的logit最不相似的分布的那层结果

实现原理

也是很简单的对比方式，最终的logit由最后一层的Layer输出的logit，减去前期选择的层的logit，

得到最终的logit

地址

https://arxiv.org/pdf/2309.03883.pdf

wendaJ
关注
大模型幻觉
comli_cn的博客
02-20 116
在语言模型的背景下，幻觉指的是一本正经的胡说八道：看似流畅自然的表述，实则不符合事实或者是错误的。幻觉现象的存在严重影响LLM应用的可靠性，本文将探讨大型语言模型(LLMs)的幻觉问题，以及解决幻觉现象的一些常见方法。
大语言模型应用指南：什么是大语言模型
AI天才研究院
07-13 1553
随着人工智能技术的不断发展,大型语言模型(Large Language Models, LLMs)近年来受到了广泛关注。作为一种基于深度学习的自然语言处理(NLP)技术,大语言模型能够通过训练海量文本数据,捕捉语言的复杂模式和语义关联,从而实现对自然语言的理解和生成。传统的NLP系统通常采用基于规则或统计方法,需要手工设计特征和构建复杂的流程。而大语言模型则是一种端到端的方法,通过自监督学习直接从原始文本中学习语言知识,无需人工特征工程,具有更强的泛化能力。
DoLa：对比层解码提高大型语言模型的事实性
RM_Jin的博客
10-27 1294
尽管大型语言模型（LLM）具有很强的功能，但它们容易产生幻觉，即生成与预训练期间观察到的事实偏离的内容。本文提出了一种简单的解码策略，用于减少预训练的LLM中的幻觉，该策略不需要依赖检索的外部知识或额外的微调。本方法通过对比从较高层和较低层投影到词汇空间所得到的logits之间的差异来获得下一个token的分布，利用了LLM中事实知识通常局限于特定的Transformer层的事实。这种 对比层解码（DoLa）的方法能够更好地表现出事实知识，并减少生成不正确事实的情况。
（2024|ICLR，LLM 幻觉，事实性，知识层次）DoLa：通过对比层解码可提高大型语言模型的事实性
qq_44681809的博客
02-07 1034
本文提出了一种新的解码方法——对比层解码，它通过对比 LLM 不同层的输出来减少幻觉问题，而无需检索外部知识或额外微调
NLP/大模型八股专栏结构解析
WeLearnNLP
04-05 1129
🎯 专栏推荐 | 搞定NLP面试，从这里开始！ NLP面试到底考啥？这套专栏替你总结好了！基础知识、经典算法、热门应用，还有面试官爱问的坑题，统统带解析。 不想临时抱佛脚？不想面试时一脸懵？来这里，轻松搞懂，稳稳拿Offer。 适合自学提升，也适合面试突击，赶紧收藏，一起上岸！
LLM 大模型幻觉是什么？
关于我的学习记录
01-23 1238
在语言模型的背景下，幻觉指的是：看似流畅自然的表述，实则不符合事实或者是错误的。
推荐收藏！大模型常考面试题总结（含答案）
2401_84033492的博客
04-21 2766
在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的 intrinsic rank。训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与PLM的参数叠加。用随机高斯分布初始化A ，用0矩阵初始化B，保证训练的开始此旁路矩阵依然是 0 矩阵。
万字之文，梳理理解AI大模型
m0_63171455的博客
05-24 2083
1）突破了远距离文本依赖的学习限制，避开了递归网络的模型体系结构，并且完全依赖于注意力机制来绘制输入和输出之间的全局依赖关系。2）可高度并行进行训练，这对发挥硬件红利以及快速迭代模型非常重要。下图是论文提到的Transformer模型，对编码器和解码器使用堆叠式的自注意力和逐点式、全连接层，分别如图1的左半部分（编码器）和右半部分（解码器）所示。**OpenAI基于该工作基础上发展了GPT（Generative Pre-training）**生成式预训练模型。
AIGC元年大模型发展现状手册
孙佰贵的专栏
03-18 6547
AIGC大模型在人工智能领域取得了重大突破，涵盖了LLM大模型、多模态大模型、图像生成大模型以及视频生成大模型等四种类型。这些模型不仅拓宽了人工智能的应用范围，也提升了其处理复杂任务的能力。a.) LLM大模型通过深度学习和自然语言处理技术，实现了对文本的高效理解和生成；b.) 多模态大模型则能够整合文本、图像、声音等多种信息，实现跨模态的交互和理解；c.) 图像/视频生成大模型则进一步将AI技术应用于视觉内容创作，为用户提供了全新的创作以及内容消费体验。本文将做相关技术内容展开讨论与纪要。
视频理解大模型最新进展
David_house的博客
09-19 2042
总结了2023-2024年的视频理解大模型
大模型幻觉是指什么
06-19
# 示例代码：通过对比层解码缓解大模型幻觉（DoLa方法） def contrastive_decoding(model, input_ids, num_layers): # 获取模型各层输出 layer_outputs = model(input_ids, output_hidden_states=True).hidden_...
大语言模型应用指南：交互格式
AI天才研究院
07-09 918
随着人工智能技术的快速发展，大语言模型（Large Language Models，LLMs）已经成为了自然语言处理领域的重要突破。这些模型能够理解和生成人类语言，为各种应用场景提供了强大的支持。然而，要充分发挥大语言模型的潜力，我们需要深入理解并掌握与之交互的最佳实践。本文将重点探讨大语言模型的交互格式，为开发者和用户提供全面的应用指南。在这个快速发展的领域中，交互格式的设计和实现直接影响着用户体验和模型性能。
传统行业和AIGC的结合及应用
十三狼的专栏
07-19 904
第一个重要角色是做学生的个性化人生导师人类教师有着机器所无法取代的人性光芒，能够理解学生的心理及情绪，加上人类教师能够与在教学中承担重复性、标准化任务的AI助教无缝配合，因此人类教师不必再把主要精力放在传授死记硬背的知识上，而是可以把更多的时间用在培养学生的价值观、性格、情商上以及培养学生的批判性思维、创造力、应变能力等非知识性的软实力上。陆奇还提出了一个有趣的基本假设，码农成本会降低，但对码农的需求会大量增加，码农不必太担心，因为我们需要软件，软件永远可以解决更多问题，当软件便宜了，买的人也就多了。
如何定制企业级AIGC能力中心？
2401_86594982的博客
07-22 482
如何定制企业级AIGC能力中心？通过构建一站式平台，整合算力资源（如普惠算力广场）、数据商城（含多领域可信数据集）和模型超市（支持DeepSeek、文心一言等大模型），实现音频克隆、视频生成等原子能力定制。结合可扩展架构（如CEA框架），提供智能问卷、虚拟试穿等应用模块，助力企业降低技术门槛，加速AI落地与创新。
如何下载并安装AIGCPanel
qq_26450889的博客
07-18 221
访问 AIGCPanel 官网 ，在下载页面选择适合您操作系统的版本。macOS：将.app文件拖拽到Applications文件夹。Windows：双击.exe文件并按照向导完成安装。完成基本设置后，进入主界面。
金融系统AIGC能力中心赋能实战指南
2401_86594982的博客
07-19 983
探索金融系统如何借助AIGC能力中心实现智能赋能升级，本实战指南详解智能问卷、虚拟试穿等核心应用操作步骤，提供数据驱动决策与精准营销策略，助力金融机构高效部署AI技术，优化业务流程与服务体验。
AigcPanel数字人形象录制要求
qq_26450889的博客
07-22 302
服饰：避免穿条纹、高反光或纯黑 / 纯白衣物（易导致抠像边缘模糊），建议穿单色、低反光面料。编码：H.264/H.265，MP4格式优先，封装格式需支持音视频同步。基础素材：录制中性表情（闭嘴、睁眼）、眨眼、微笑、皱眉等基础表情各 5-10 秒，用于模型训练。取景范围：半身像（胸部以上）或全身像，确保头部位于画面中央，预留 10%-20% 的上下空间。若使用实景背景，需避免复杂图案或反光物体（如玻璃、金属），防止干扰人像识别。建议使用三点布光法（主光、辅光、轮廓光），确保面部光线均匀。
Jiasou TideFlow AIGC SEO Agent：全自动外链构建技术重构智能营销新标准
weixin_72847809的博客
07-22 303
摘要：AISEO工具JiasouTideFlow通过GPT-4o与Gemini双引擎，实现智能SEO优化。其特色包括：1周吸引蜘蛛、2周完成收录的技术突破，比传统方式快400%；日均部署300+高权重外链；整合CMS优化等三大模块，支持12种建站系统；智能转化功能使CTR提升27%、CVR提升34%。数据显示，某客户3个月内自然流量GMV增长218%，验证了该工具在提升企业数字营销效率方面的显著效果。
基于PDM的CAD-CAPPCAM系统集成.doc
最新发布
07-22
基于PDM的CAD-CAPPCAM系统集成.doc
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值