提升语言模型推理一致性的新技术

最新推荐文章于 2025-12-18 11:52:33 发布
原创 最新推荐文章于 2025-12-18 11:52:33 发布 · 963 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理 #知识蒸馏 #对比解码 #反事实推理 #程序那些事

部署运行你感兴趣的模型镜像

提升语言模型推理一致性的新技术

在今年ACL会议上，某中心研究人员因展示使用教师模型对比解码和学生模型反事实推理的知识蒸馏方法，可改进"思维链"推理的一致性而获得杰出论文奖。

研究背景

教导大型语言模型（LLM）进行推理是自然语言处理领域的热点研究方向。流行的方法是思维链范式，即模型不仅回答问题，还提供答案的推理依据。

然而由于LLM存在幻觉倾向（即做出虚假事实断言），生成的推理依据可能与预测答案不一致，导致其不可信。在某中心提交给ACL的论文中，研究人员通过知识蒸馏提升思维链推理的一致性：给定训练集中的问题-答案对，LLM（“教师”）为较小的"学生"模型生成推理依据，学生模型学习同时回答问题并提供推理依据。

技术挑战

即使采用知识蒸馏（KD），仍需要应对教师生成虚假或空洞推理依据的可能性。在学生端，风险在于模型可能学会生成推理依据和答案，但未学会两者间的逻辑关系；例如可能绕过整个推理过程，学习问题与答案间的推断捷径。

在某领先LLM的研究中发现，42%的生成推理依据是空洞的，37%是无关的。

解决方案

对比解码

为抑制幻觉，在教师端采用对比解码，确保为真实断言生成的推理依据与为错误断言生成的推理依据尽可能不同。使用参数冻结的预训练LLM作为教师模型，通过上下文学习生成训练样本：提供少量问题、答案和人工标注推理依据的示例，最后给出问题-答案对，模型为最终对生成推理依据。

标准解码步骤无法保证生成推理依据能证明模型答案。通过对比解码，在不调整LLM参数的情况下控制解码过程：对真实答案和扰动答案分别执行上下文推理生成，解码真实对时选择对真实对概率高且对错误对概率低的词，使真实对的推理依据与错误对产生分歧。

实验考虑两种扰动类型：空答案和无答案。发现使用错误答案的对比解码始终比使用空答案产生更好的推理依据。

反事实推理

过去研究表明问答模型常利用训练数据中的捷径提升性能。类似地，思维链模型可能学习使用捷径回答问题，并将生成推理依据作为并行任务，而未学习两者关键联系。反事实推理训练的目标是打破这种捷径。

通过随机改变问题-答案对中的答案生成反事实训练数据，并生成相应推理依据。使用问题和推理依据作为输入训练学生模型，必须生成对应答案。这意味着学生模型在训练中可能多次看到相同问题但不同答案（和推理依据）。"事实"和"反事实"标签防止模型混淆任务。

实验评估

在四个推理任务数据集上，与使用普通知识蒸馏构建的思维链模型比较。请人工评审评估教师模型生成的推理依据。使用泄漏调整可模拟性（LAS）指标评估学生模型，该指标衡量模拟器（外部模型）从生成推理依据预测学生输出的能力。

实验显示：

  • 使用对比解码的知识蒸馏始终优于三个基线
  • 结合反事实推理和对比解码的知识蒸馏始终优于单独使用对比解码
  • 在人工标注数据集上训练的模型在下游任务中准确率最高，但推理依据表现差
  • 平均而言，新方法比使用贪婪解码训练的模型略更准确

人工评估表明，使用对比解码的上下文学习比贪婪解码产生更有说服力的推理依据：

教师模型语法性新信息支持答案
贪婪解码0.990.650.48
对比-空答案0.970.770.58
对比-错误答案0.970.820.63

结论

通过教师模型的对比解码和学生模型的反事实推理，某中心研究人员开发出能显著提升思维链推理一致性的方法，在减少幻觉的同时保持推理任务的准确性，为语言模型的可靠推理提供了新的技术路径。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

您可能感兴趣的与本文相关的镜像

Qwen3-VL-8B

Qwen3-VL-8B

图文对话
Qwen3-VL

Qwen3-VL是迄今为止 Qwen 系列中最强大的视觉-语言模型，这一代在各个方面都进行了全面升级：更优秀的文本理解和生成、更深入的视觉感知和推理、扩展的上下文长度、增强的空间和视频动态理解能力，以及更强的代理交互能力

大语言模型推理加速技术：模型压缩篇
张伟的专栏
02-26 3565
本篇介绍左边蓝色的部分，右边绿色的部分在上篇文章在上一篇文章中我们介绍了不改变模型结构的条件下，加速模型推理的技术，即让模型“算得更快”。而这篇文章将介绍模型压缩的技术，即让模型“算得更少”。量化（Quantization）：使用低精度（≤16位）存储模型权重。精简Attention：通过一些变种的Attention算法减少模型计算量。除此之外还有“投机采样”这种巧妙的采样方法也可以视为对大模型的压缩。而传统的几个压缩方法比如知识蒸馏和剪枝。
理解推理型大语言模型
kcarly的专栏
02-07 1305
如果您从事AI（或一般机器学习）工作，您可能熟悉模糊且备受争议的定义。术语“推理模型”也不例外。最终，某人会在论文中对其进行正式定义，但在接下来的一篇论文中又会被重新定义。在这篇文章中，我将“推理”定义为回答需要复杂多步骤生成的问题的过程，并包含中间步骤。例如，“法国的首都是什么？”这样的事实性问题问答并不涉及推理。相反，像“如果火车以每小时60英里的速度行驶3个小时，它走了多远？”这样的一道题则需要一些简单的推理过程。比如，在得出答案之前，必须认识到距离、速度和时间之间的关系。
如何加速大模型推理？万字综述全面解析大语言模型高效推理技术
Paper weekly
07-03 1105
许多研究工作致力于设计优化大语言模型推理开销的技术，优化模型的推理延迟、吞吐、功耗和存储等指标，成为许多研究的重要目标。为了对这些优化技术有更全面、更系统的认知，为大语言模型的部署实践和未来研究提供建议和指南，来自清华大学电子工程系、无问芯穹和上海交通大学的研究团队对大语言模型的高效推理技术进行了一次全面的调研和整理，在《A Survey on Efficient Inference for La...
语言模型中的一致性：当前状况、挑战与未来方向
栖客
05-04 1499
有效语言使用的关键在于一致性——在相似的语境中表达相似的含义并避免矛盾。尽管人类交流自然体现了这一原则，但最先进的语言模型在不同场景下难以保持可靠的一致性。本文探讨了AI语言系统中一致性研究的现状，涵盖了形式一致性（包括逻辑规则遵循）和非形式一致性（如道德和事实连贯性）。我们分析了目前用于衡量一致性的方法，识别出定义标准化、多语言评估以及提高一致性的方法中的关键研究空白。我们的研究结果表明，迫切需要强大的基准来衡量语言模型在特定领域任务中的应用一致性，同时保留其实用性和适应性。
大语言模型逻辑一致性研究新突破：测量、评估与提升
强化学习曾小健
01-10 1057
本研究提出了一种全面的方法来测量、评估和提升大语言模型的逻辑一致性，通过定义关键的一致性属性、进行广泛的实验评估以及提出有效的数据处理方法，为提高模型的可靠性和实用性提供了重要的理论和实践指导。研究结果强调了逻辑一致性在大语言模型开发中的重要性，不仅作为评估模型可靠性的关键指标，还为改进模型在下游应用中的性能提供了新的方向。未来的研究可以进一步探索如何优化这些方法，以适应更广泛的应用场景和更复杂的任务需求，从而推动大语言模型在实际应用中的发展。
推测性解码：加速多模态大型语言模型的推理
人工智能讲师分享前沿技术
06-10 2882
大模型（LLMs）以其卓越的性能在多个应用场景中大放异彩。然而，随着应用的深入，这些模型的推理速度问题逐渐凸显。为了解决这一挑战，推测性解码（Speculative Decoding, SPD）技术应运而生。本文深入探讨了SPD在多模态大型语言模型（MLLMs）中的应用，尤其是针对LLaVA 7B模型的优化。MLLMs通过融合视觉和文本数据，极大地丰富了模型与用户的互动，但同时也面临着自回归生成和内存带宽的瓶颈。SPD技术通过小型草稿模型预测未来标记，并由目标LLM进行快速验证，有效提升了推理效率。
推理大模型和语言大模型的技术特点及应用场景
weixin_45338445的博客
04-09 726
近期，随着DeepSeek R1 在世界范围内爆火，可以说世界上大多数人使用的第一个基于推理大模型的产品是免费的 DeepSeek，而不是收费的 OpenAI o1。b. 多阶段强化学习：结合冷启动监督微调（SFT）与强化学习（RL），平衡输出质量与逻辑严谨性（如 R1-Zero 的纯 RL 训练与 R1 的多阶段优化）。d. RLM 通过强化学习（如 DeepSeek R1-Zero 的“纯 RL”训练）或显式树状推理结构（如 MCTS）提升逻辑一致性。
语言大模型推理性能工程：最佳实践
OneFlow深度学习框架
10-25 4259
在这篇文章中，MosaicML工程师团队分享了如何在生产环境中充分利用流行开源语言大模型（LLM）的最佳实践。此外，他们还提供了围绕模型部署推理服务的指南，以帮助用户更好地选择模型和部署硬件。他们在生产环境中使用了多个基于PyTorch的后端。这些指南是MosaicML工程师团队基于FasterTransformers、vLLM以及NVIDIA的TensorRT-LLM等背后的经验总结而来。Mos...
一文了解大语言模型推理性能优化关键技术之 PD 分离及典型的 PD 分离方案
叶庭云 成为自己的光
10-07 2398
本文首先明确大语言模型推理系统的关键性能指标，继而剖析预填充（Prefilling）与解码（Decoding）这两个阶段的核心特征。基于上述分析，本文指出：持续批处理（Continuous Batching）采用阶段隔离与抢占机制，虽有助于提高系统吞吐量并降低首令牌延迟（Time To First Token，TTFT），但会显著增加词元间延迟（Token-to-Token Delay，TBT），进而对端到端（End-to-End，E2E）延迟造成不利影响。最后，本文简要回顾了预填充与解码相分离（Prefi
自我一致性提升自然语言模型链式思维推理能力的研究与应用
03-11
内容概要：本文探讨了一种新型解码方法——自我一致性，在提升自然语言模型（LLMs）多步推理任务上的效果及其实际应用。文中指出传统方法如贪婪解码可能导致性能受限于单一路径优化，从而限制了模型对复杂任务的正确...
提升小模型推理能力的新方法-基于解决方案指导微调的小型语言模型优化
03-18
现有的链式思考（CoT）细调方法通常需要大量数据并存在一致性问题，而SGFT引入了专注于问题理解和分解的Solution Guidance（SG），仅需少量数据就能显著提升小模型的数学与常识推理任务表现。研究表明，在资源受限...
自洽性改进语言模型中的链式思维推理
03-05
结合链式思维提示与预训练大型语言模型在复杂推理任务上取得了令人鼓舞的结果。本文提出了一种新的解码策略—— 自洽性 ，以替代链式思维提示中使用的简单贪婪解码。该方法首先采样一组多样化的推理路径，而不是仅...
大模型学习基础（五） 强化学习（Reinforcement Learning，RL）初步
qq_56095294的博客
12-13 338
前面的文章简单介绍过，传统的监督学习所使用的数据集是（特征，标签），有“标签”即明确的知晓正确的输出应该是什么。而实际的情况是，环境的状态S是由多个Si构成的，每训练一组S-a即训练一个多分类问题，把这些问题的损失函数（交叉熵）加在一起，即可训练出在不同的状态下应该使用什么动作。模型在选择一个动作之后，这个动作实际是对Environment发生，相应的Environment会给模型一个回馈Reward，然后再给模型一个新的Observation，模型继续选择新的动作，循环此过程。
以太联的自愈功能与看门狗机制解析
suzhou_speeder的博客
12-15 1093
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
数据分析Agent白皮书：揭秘Data x AI的底层逻辑与未来关键
最新发布
LyAGent的博客
12-18 338
《2025数据分析Agent白皮书》指出，数据分析Agent正成为AI落地的核心形态，实现从"人人分析"到"人人消费"的转变。白皮书系统解析了其技术架构（包括Query/Document/DeepAnalyze三大Agent能力）、行业实践（能源/制造/零售等领域）及落地路径，强调需突破数据准度、分析深度与消费广度三大挑战。未来，数据分析Agent将深度融入业务流程，推动"洞察即行动"的自动化决策模式。该技术有望彻底改变企业数据消费方式，使数据智能
多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战
Lab4AI的博客
12-17 499
本项目依托Lab4AI平台，基于LLaMA-Factory成功对Qwen3-VL进行了完整的微调流程。我们将传统的人脸情绪识别任务与多模态大语言模型（MLLM）相结合，探索了MLLM在视觉情绪理解中的应用。通过微调Qwen3-VL，我们成功将传统的分类任务转化为多模态推理任务，显著提升了模型在复杂场景下的鲁棒性和准确率。这一方案不仅在人脸情绪识别上取得了显著提升，还为其他视觉任务的多模态大模型应用提供了新的思路，具有广泛的应用前景。
Transformer架构的原理是什么？
SACKings的博客
12-15 712
对于“Thinking”这个词，它的输出向量可能包含了90%它自己的信息和10%“Machines”的信息。而对于“Machines”，它的输出可能包含了70%它自己的信息和30%“Thinking”的信息。Transformer 架构的原理是理解现代大模型（如 GPT、BERT、T5 等）的基石。正是因为这些原理上的优势，Transformer才取代了RNN和CNN，成为了当今AI大模型时代的统治性架构。的（打乱输入顺序，输出可能不变），它没有内置的位置概念。Q·K 然后Softmax。
AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量
itwangyang520的博客
12-14 1113
扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。
神经网络基础
m0_54291751的博客
12-17 494
归回问题用的最多的损失函数: **Smooth L1;**+ 分类问题用的最多的损失函数： ****(也可以用于二分类);```python# 1. 加载csv文件数据集.data = pd.read_csv('data/手机价格预测.csv')# print(data.head()) # 查看前五行数据# data.info() # 查看数据是否有缺失值# 2. 获取x特征列 和 y标签列.# 3. 把特征列转成浮点型.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值