投机解码学习（）

原创 于 2025-11-20 15:20:40 发布 · 305 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LLM #投机解码

2025ACL-Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling

论文链接： https://aclanthology.org/2025.acl-long.338.pdf

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

通过投机解码加速扩散模型
m0_56695799的博客
06-18 969
扩散模型是一种生成模型，通过模拟数据逐渐被噪声破坏（正向过程）和从噪声中逐步重建数据（反向过程）来生成样本，这两个过程都是马尔可夫过程，即当前状态只依赖于前一个状态，与更早的历史无关（简化建模），其过程是连续的（VS.时间步）。扩散模型是一个连续的、高维向量空间的马尔科夫链过程，逐步将噪声转换为目标数据样本。denoising diffusion models(DDMs)是近些年在多个领域表现SOTA的扩散模型的一种实现，用一个参数化模型（如UNet）来预测去噪方向，从而逐步恢复数据。
Speculative decoding投机解码原理思考与解决
点滴的岁月
04-19 2037
投机解码的核心动机是：在生成任务中，总有简单和复杂的子任务，对于一些较为简单的任务，解码过程存在可以节约资源的环节，使用大模型进行每轮一个token的自回归解码存在资源上的浪费；换句话说，简单的子任务只需要用参数量较小的模型来生成也能取得与使用大模型生成相当的效果，亦或是用大模型在每轮迭代进行多个token的并行解码也依然能保持生成质量。基于此，投机解码采用一种draft-then-verify（起草+验证）的机制来实现这一过程。
投机解码实践
qq_52024723的博客
11-05 1142
建议目标模型的参数量是草稿模型的x-x倍，如果差的过大，会导致草稿模型推理出来的token和目标模型差很多，拒绝的概率大大增加；用opt-6.7b作为目标模型opt-1.3b作为草稿模型，发现两个模型的推理用时差距太少，比如后者推理一个token用时为前者3/4，那么反而会浪费时间。而使用投机解码之后，由于草稿模型中的一些token被目标模型接受，于是这个过程中草稿模型执行了12次推理，目标模型执行了3次推理。模型最好选比较新的，比较老的模型会导致目标模型和草稿模型推理分布差距过大。
【有啥问啥】投机解码（Speculative Decoding）是什么？
Chauvin的博客
04-14 1587
近年来，大语言模型（LLM）以其惊人的能力改变了自然语言处理的格局。然而，这些强大的模型也带来了巨大的计算挑战，尤其是在推理（Inference）阶段。模型的规模越大，生成文本所需的时间就越长，这限制了它们在实时交互、大规模部署等场景下的应用。为了解决这个瓶颈，研究人员提出了各种优化技术，其中，“投机解码”（Speculative Decoding）是一种极具潜力且备受关注的方法。本文将深入浅出地介绍投机解码的原理、优势、挑战以及它为何能显著加速 LLM 推理过程。
投机解码(Speculative Decoding)-大模型推理加速(vllm)
huanxingchen1的博客
10-21 1117
介绍投机解码的原理，以及使用vllm配置投机解码部署模型。
大模型推理提速的秘密，投机解码原理给你一文讲透！
2401_84495872的博客
07-23 1189
投机解码是一种提升大模型推理速度的关键技术，采用"先草稿后验证"（Draft-then-Verify）的范式。该技术通过小型草稿模型快速生成候选token序列，再用目标大模型并行验证，显著提高解码效率。文章系统介绍了投机解码的三大核心要素：1) 基本定义和数学公式表示；2) 两类草稿模型设计（独立草稿和自草稿）及其优劣；3) 贪婪解码和投机采样两种验证规则。最后探讨了当前的技术挑战，包括草稿模型质量与效率的平衡、多模态解码扩展等问题，为后续研究提供了方向。
EAGLE框架：投机解码需要重思考特征的不确定性
m0_56695799的博客
03-15 1617
这篇代码开源！
程序员必读收藏：投机解码技术深度解析 - 大模型推理加速的终极指南
2401_84815887的博客
09-06 890
文章介绍了投机解码这一提升大模型推理速度的关键技术。采用Draft-then-Verify范式，由草稿模型生成多个token，目标模型并行验证。详细讨论了两种草稿模型设计（独立和自草稿生成）的优缺点，以及贪婪解码和投机采样验证规则如何平衡输出质量和效率。最后指出当前面临的主要挑战是平衡草稿生成效率与准确性，以及将投机解码整合到多模态等先进技术中。
投机解码中的无损加速验证
hang on it more longer
07-02 172
但也让我们看到一些东西。uniform概率分布则从这里来。让元宝无损加速的验证机制说明。
动态宽度投机波束解码提升大规模语言模型推理效率
10-05
本文提出了一种新的集成投机解码与波束采样的方法 - 动态宽度投机波束解码（DSBD），旨在解决大型语言模型（LLM）推理过程中速度慢和计算成本高的问题。主要内容围绕四个挑战展开并提出了相应的创新性解决方案，以...
【深度学习新浪潮】什么是投机解码？大模型推理优化的核心技术解析（含代码实操）
智能守恒_HengAI
11-07 222
投机解码是一种针对自回归大模型的推理加速技术，核心目标是在保证生成质量不下降的前提下，减少大模型的计算开销。其核心逻辑可概括为：用一个轻量、快速的“草稿模型（Draft Model）”提前预测大模型的输出序列，再由目标大模型（Target Model）对预测结果进行批量验证和修正。通过“小模型投机预测+大模型批量确认”的模式，规避大模型逐token生成的低效问题。
本地模型部署指南[可运行源码]
11-23
本文详细介绍了如何访问和配置本地已部署的模型。首先，用户需要访问指定网址下载并安装chatbox软件。安装完成后，初次进入时需要选择使用自己的模型选项。接着，进入设置界面，选择模型提供方为ollama api，并输入相应的域名（如http://xxxxx:11434），其他设置保持默认，最后点击保存即可完成配置。配置完成后，用户可以选择并使用模型。整个过程简单明了，适合需要本地部署模型的用户参考。
基于ssm框架实现的网上商城.zip
11-23
基于ssm框架实现的网上商城.zip
JDK安装与环境配置[项目代码]
最新发布
11-23
本文详细介绍了JDK的安装和环境变量配置的全过程。首先，从JDK官网下载安装包，然后按照步骤进行安装，默认安装路径为C:Program FilesJavajdk-17。接着，重点讲解了如何配置环境变量，包括新建JAVA_HOME变量和修改Path变量，以便在任意路径下执行Java程序。最后，通过cmd命令验证JDK是否安装成功。此外，文章还附带了一份Python学习资料的推广内容，包括学习路线、视频、书籍、工具包、实战案例和面试题等资源。
C++类和对象基础[项目代码]
11-23
本文详细介绍了C++中类和对象的基础知识，包括面向对象与面向过程的区别、类的定义与访问限定符、封装的概念、类的作用域、实例化过程以及类对象模型的计算方法。文章还深入探讨了this指针的作用和特性，通过实例代码解释了this指针在成员函数中的使用方式及其重要性。此外，文中还涉及了结构体内存对齐规则和空类大小的特殊情况，为读者提供了全面的C++类和对象入门指导。
Windows安装Scrapy指南[项目代码]
11-23
本文详细介绍了在Windows系统下使用Anaconda安装Scrapy的方法，解决了pip无法直接安装Scrapy的问题。Anaconda是一个专注于数据分析的Python发行版本，内置了conda包管理系统，能够方便地管理工具包和虚拟环境。文章解释了Anaconda和conda的概念，并列举了Anaconda的优点，如省时省心、自动处理依赖关系、支持多环境隔离等。此外，还提供了Anaconda的下载链接和安装步骤，最后指导用户通过conda命令安装Scrapy。
基于Bloch方程的磁共振成像序列模拟器Matlab实现
11-23
本资源提供MATLAB多个发行版本（2014、2019a、2021a）的技术支持，配套完整案例数据集及可直接执行的程序文件。程序架构采用模块化设计理念，具备以下技术特征：通过参数配置实现核心算法调整，逻辑结构层次分明，关键代码段配有详细注释说明。 该资源适用于高等院校计算机科学、电子信息技术、应用数学等专业的课程实践、综合课题研究及学位论文开发。内容涵盖智能优化计算、神经网络预测建模、数字信号处理、元胞自动机仿真等典型实验场景，所有案例均通过标准化测试验证。 开发团队由具备十年以上工业级算法研发经验的高级工程师组成，专注于MATLAB科学计算与系统仿真领域。本资源提供经过学术机构验证的完整仿真案例库，适用于教学演示与科研实验。 资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！
【嵌入式通信】基于STM32与RS-232的自定义串口助手设计：实现上下位机可靠通信及数据监控
11-23
内容概要：本文详细介绍了一个基于STM32与PC上位机通过RS-232串口通信的完整系统设计与实现，涵盖硬件电路搭建、STM32固件开发、自定义应用层通信协议设计、PC端串口助手软件开发（C# WinForms）、协议解析、数据记录、通信测试及系统部署等内容。系统采用分层协议架构，支持命令控制、数据传输、CRC校验、状态指示和日志记录等功能，并提供了完整的故障排查与扩展开发指南。; 适合人群：具备嵌入式开发基础的电子工程师、自动化控制技术人员、计算机或电子信息类专业学生，以及对串口通信、STM32开发和上位机软件设计感兴趣的开发者；尤其适合从事工业控制、设备调试和物联网通信项目研发的技术人员。; 使用场景及目标：①实现STM32与PC之间的可靠串口通信；②开发具备协议解析能力的自定义串口助手；③应用于设备监控、数据采集、实验室仪器通信等场景；④作为教学案例帮助理解串口通信协议栈的设计与实现。; 阅读建议：建议结合硬件平台动手实践，重点关注通信协议的设计与CRC校验一致性，注意STM32端与PC端代码的协同调试，同时可利用提供的测试模块验证系统稳定性，便于后续功能扩展与二次开发。
Vue el-tabs右侧按钮实现[代码]
11-23
本文介绍了在Vue.js的element-ui框架中，如何在el-tabs组件的最右侧添加一个按钮的实现方案。通过CSS的position属性，利用relative和absolute定位，将按钮固定在tabs页签切换栏的最右侧。具体实现步骤包括：设置父div为relative定位，el-tabs保持默认布局，按钮使用absolute定位并指定right和top值。代码示例清晰展示了如何结合Vue和CSS实现这一功能。
[如何训练用于投机解码的小型草稿模型？]
07-17
### 训练用于投机解码的小型草稿模型 训练用于投机解码（Speculative Decoding）的小型草稿模型的关键在于构建一个轻量级但具备较强预测能力的模型，使其能够在推理阶段快速生成高质量的候选 token 序列。该模型的设计与训练策略需兼顾速度、准确性和与目标大模型的兼容性。 #### 模型架构设计 小型草稿模型通常采用简化版的大模型结构，例如减少层数、隐藏层维度或注意力头数量等。这种设计可以在保持一定语言建模能力的同时显著降低计算开销。一些研究中使用 7B 参数规模的模型作为 13B 或 70B 模型的草稿模型，前提是其在推理效率和预测质量之间取得平衡 [^2]。 #### 数据准备与预处理 训练数据通常来源于大规模语料库，如 Common Crawl、Wikipedia 或特定领域文本。为了提升模型对目标大模型输出的适配性，可以采用“蒸馏式”训练策略，即让草稿模型学习目标大模型生成的上下文与预测结果。这种方式能够增强草稿模型对未来 token 的预测准确性，并提高验证阶段的接受率 [^1]。 #### 损失函数与训练目标 草稿模型的训练目标是最大化下一个 token 的预测准确率，因此通常使用标准的语言建模损失函数，即交叉熵损失： ```python import torch import torch.nn as nn loss_fn = nn.CrossEntropyLoss() logits = model(input_ids) loss = loss_fn(logits.view(-1, vocab_size), labels.view(-1)) ``` 此外，为了提升其与目标模型的一致性，可在损失函数中引入 KL 散度项，鼓励草稿模型输出的概率分布接近目标模型的预测结果，从而提高验证阶段的通过率。 #### 模型评估与迭代优化 在训练过程中，需定期评估草稿模型在推测解码流程中的表现，包括： - **候选 token 的接受率**：目标模型接受草稿模型生成 token 的比例。 - **推理加速比**：与传统自回归解码相比的延迟降低幅度。 - **生成质量指标**：如 BLEU、ROUGE 或人工评估连贯性与逻辑性。 根据这些指标反馈调整训练策略，例如调整模型大小、优化器参数或训练数据分布，以进一步提升整体性能 。 #### 部署与协作机制 训练完成后，草稿模型需与目标模型建立高效的协作机制。具体而言，在推理阶段，草稿模型生成若干候选 token，目标模型对其进行逐个验证并决定是否接受。若某个 token 被拒绝，则目标模型重新生成后续内容并替换原序列。此过程要求草稿模型具有良好的局部一致性，否则将导致频繁回退，反而增加延迟 [^3]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wavehaha

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值