Speculative Decoding/投机解码

最新推荐文章于 2025-11-23 02:53:33 发布
原创 最新推荐文章于 2025-11-23 02:53:33 发布 · 752 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis #android #数据库

《Fast Inference from Transformers via Speculative Decoding》:

1. 基本概念

(1) Two Models
Mp:target model，即原始模型。
Mq:efficient approximation model，即近似模型。
Mq比Mp小（参数量），暂且称Mq为小模型，Mp为大模型。

(2) Two distributions在这里插入图片描述
这里p(x)、q(x)分别是Mp、Mq在给定输入x<t下生成下一个token的概率分布。

(3) Process

  • 简单一轮：生成->评估(接受，拒绝)->重新采样
  • 完整一轮：先用小模型Mq生成 r 个token（auto regression自回归方式）；然后用大模型Mp来评估（并行解码 r 次，生成 r +1个token），依次对Mq生成的每一个token，比较两个模型的概率分布，来决定是接受还是拒绝；
    若拒绝，那么对拒绝token所在的位置的分布做一个调整，然后重新采样生成一个新token之后就结束。
    若全都接受，那么这一轮一共r+1生成了个token，其中前r个由生成，第r+1个由Mp生成。
    显然，经过一轮speculative decoding，最多可生成 r+1 个token，最少生成1个token。

（4）为啥叫speculative decoding
对于为啥叫speculative decoding或者为啥大家喜欢叫投机解码？
利用小模型Mq生成的 r 个token是推测的(可能的)结果，并不是真正最后输出的结果，这些结果需要通过模型Mp去决定对不对，要不要。

显然，speculative decoding的核心思想就是“先猜测，后验证”。但是这种猜测行为实际上是比较“冒险的”，因为有可能被拒绝。

猜对了，被接受了，就节省了计算时间；但若猜错了，就会被拒绝，这样自然也就浪费了一些计算，同时还需要就猜错的地方进行就调整。

整体上，speculative decoding流程类似于“投机”（Speculative）行为中的“预先行动，再根据结果调整”。

2. 细节

现在我们来看一下speculative Decoding是如何评估的，也就是什么样才会接受，什么样又拒绝，拒绝后又如何重新采样。

2.1 接受

假设x采样自q(x)，那么如果p(x)大，我们就接受这个。

这点可以这么理解，Mp是大一些的模型，它的准确性通常要高一些，q(x)<=p(x)表示的是比起Mq，Mp对生成的把握更高一些，那么这个x可以接受。

2.2 拒绝

反过来，如果p(x)< q(x)，也就是说对于x，Mp的把握度低一些，即生成的有可能是错的。此时就以一定的概率拒绝x，这个概率为1-p(x)/q(x)。

因为p(x)< q(x)，那么就有p(x)/q(x) < 1。并且，p(x)与 q(x)差距越大，p(x)/q(x)就越小，那么1-p(x)/q(x)就越大，拒绝的概率就越大。

2.3重新采样

当出现第一个拒绝的token，就需要重新采样并结束speculative Decoding的一轮了。

其中，重新采样需要调整对应位置的分布为：
在这里插入图片描述
。这里稍微注意下，前面的接受与拒绝，我们比较的是具体的token的概率值，这里调整的是token所在位置处的概率分布。

对于p(x)>= q(x)的那些x来说，p(x) - q(x) > 0；
对于p(x)< q(x)的x来说，p(x) - q(x) <= 0，再经过max()，值就置为零，那么这些token将永远不会被采样到。
通过这样的调整后再进行归一化，就得到了新的概率分布p’(x)，再基于这个新分布来采样一个具体的token。

speculative decoding的一轮：
在这里插入图片描述

3 加速

一轮生成的期望token数

我们了解到执行一轮Speculative decoding，最多生成r +1个token，最少生成1个token。

那么平均情况下，执行一轮Speculative decoding，能生成多少个token呢？

3.1 接受率与它的期望值

βx<t(接受率)：在Speculative decoding中，接受率所刻画的是，在给定x<t前缀的情况下，模型生成的token 被接受的概率。

α (平均接受率)：β的期望值α=E(β)，一定程度上衡量了Mq与Mp的近似/对齐程度（alignment），二者越接近，那么α越高。另外，应该是考虑了所有可能的前缀，也即在这里插入图片描述

3.2 期望token数

Speculative decoding可能会遇到各种情况，比如；
第一个位置生成的token即x1~ Mp(prefix)就被拒绝；
第一个位置的token被接受，第二个位置的token即x2~ Mp(prefix)被拒绝
…
全部r个token都被接受。

假设β是一个随机变量并且是i.i.d，即独立同分布。那么Speculative decoding的过程可以描述如下：每次Mq生成一个token，以α的概率接受并继续生成；以1-α的概率拒绝并停止生成。

设第一个被拒绝的token的位置是k，那么每一种情况下生成的token数j的情况如下：
在这里插入图片描述
当k<=r了,Mq生成的前k-1个token全部被接受,第k个被拒绝,概率为ak-1(1-α)
Mp调整分布后重新采样生成第k个token;
k=r+1时,所有r个token都被接受,概率为ar,同时Mp额外生成第r+1个token。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

有了期望token数的公式,图像就很容易画了(只需要给定a与r)。
显然有:
α越高,即两个模型越接近,接受概率越高,生成token数就起越超近r+1;
反过来若α越低,那么被拒绝的概率就越高,生成token数就越趋近于1
在α固定时,理论上增加了会增加一轮生成的token数。但是,如果α值过低,这个收益比就比较低(被拒绝的多了,很多计算就都浪费了)。所以,α对我们选择推测步数r是很重要的。

3.3 α如何计算

3.3.1 KL散度

在这里插入图片描述

3.3.2 散度的性质

在这里插入图片描述
在这里插入图片描述
同理p(x) <= q(x)

在这里插入图片描述

  • 首先,DLK(p(x),q(x))是一个对称散度
  • 并且,DLK在[0,1]区间
    因为当p(x) = q(x)，DLK = 0
    在这里插入图片描述
  • 另外,当p(x)与q(x)的支撑集不相交即p和q在任何可能的取值x上都不会同时赋予非零概率时(也即任意x,p(x)>0,有q(z)=0且任意x,q(x)>0,有p(x)=0)
    在这里插入图片描述

3.3.3 计算α β

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.3.4 省了多少计算时间(加速效果)

假设有足够的计算资源支撑同时运行r+1个的Mp并行计算，且不产生其他额外的耗时。

这里先定义两个量：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

当α>c,γ=1时,有
在这里插入图片描述
t2比t1耗时,确实实现了加速。也就是说,当接受率高于二者的耗时比,我们取推测步数 r=1就能实现加速,且加速比为
在这里插入图片描述
举个具体的例子,比如耗时比c=0.05,α>5%就能加速
若α趋近于1,那这个加速比将至少达到2=(1+1/1+0.05)

3.3.5 多了多少计算量（计算资源消耗）

虽然加速了，但是实际的计算量可能是增加了的。
首先，Speculative decoding一轮最多生成r+1个token，Mp并行执行r+1次。

假设token都被接受，那么平均生成每个token的计算量相当于执行一次Mp（忽略的计算量），所以没有增加计算。

反过来，如果有被拒绝的token，就产生了多余的计算，直观低也就是就少于r+1个token来平摊r+1次的计算量。也就是说生成单个token的计算量相比而言增加了。

下面就看看到底增加了多少计算量。同样先定义两个量：
在这里插入图片描述
那么，Speculative decoding执行一轮的计算量为在这里插入图片描述
所以，单个token的平均计算量为:
在这里插入图片描述


访存上,在Speculative decoding中Mp是并行执行,所以模型的权重和KVcache可以一次性都读出来,就不用像纯粹的自回归要读
在这里插入图片描述
次(生成这么多个token)。所以访存次数缩减倍数即为这个数

3.3.6 α如何确定、Mq的选择

在这里插入图片描述
上面这幅图给出了在固定c和α时的最优r,在α比较低时r并不是越高越好,
比如我们就看绿色那条线(c=0.05):
当α=0.5时,最优r为3;
a=0.6时,最优y为4;而当α=0.9时,
最优r超过了10。当r取10时,可以获得约6.86倍的加速(表1)。
在这里插入图片描述

但是,也不是说就直接取最优r了。
实际情况下,我们还需要去平衡加速比与计算量增加因子。
表1给出了一些量化结果,比如α=0.8, r取值从2增加到5时,加速比分别为从2.44提升到3.69,同时计算量也从1.23增加到1.63倍;
α=0.9, γ从2增加多到10时,加速比从2.71提升到6.86,而计算量也从1.11增大到1.60倍。

但是,实际情况中β是变化的,固定r不如动态调整r
动态计算β=Σ,min(p(x),q(x)),根据β值来调整r。

https://mp.weixin.qq.com/s/75KHpo-_JMGu8g7BGNYlzw

LLM推理优化 - Speculative Decoding
AI生成曾小健3
12-22 1754
投机解码（Speculative Decoding）是一种新兴技术，用于加速大型语言模型（LLM）的推理过程。该方法不仅能够显著提升推理速度，还能保持解码质量，因此受到广泛关注。本文将简要介绍投机解码的实现原理，并探讨对该算法原始实现的改进方案。
vLLM专题（十六）-推测性解码（Speculative Decoding）
02-25 515
请注意，vLLM 中的推测性解码尚未优化，并且通常不会对所有提示数据集或采样参数带来令牌间延迟的减少。优化工作正在进行中，相关进展可以通过此链接跟踪：问题 #4630。目前，vLLM 中的推测性解码与管道并行性不兼容。本文档展示了如何在 vLLM 中使用推测性解码。推测性解码是一种提高内存受限的 LLM 推理中令牌间延迟的技术。
Speculative decoding投机解码原理思考与解决
点滴的岁月
04-19 2038
投机解码的核心动机是：在生成任务中，总有简单和复杂的子任务，对于一些较为简单的任务，解码过程存在可以节约资源的环节，使用大模型进行每轮一个token的自回归解码存在资源上的浪费；换句话说，简单的子任务只需要用参数量较小的模型来生成也能取得与使用大模型生成相当的效果，亦或是用大模型在每轮迭代进行多个token的并行解码也依然能保持生成质量。基于此，投机解码采用一种draft-then-verify（起草+验证）的机制来实现这一过程。
投机解码(Speculative Decoding)-大模型推理加速(vllm)
huanxingchen1的博客
10-21 1118
介绍投机解码的原理，以及使用vllm配置投机解码部署模型。
投机采样（Speculative Decoding）
jerwey的博客
07-09 1302
范式，在保证生成质量的前提下显著降低主模型的计算负载，是当前LLM推理加速领域的重要突破。核心思想是通过并行预测和验证候选Token序列，减少自回归解码的延迟，同时保持生成质量无损。，并通过系统级优化（如缓存复用、动态批处理）进一步释放性能潜力。，从而减少主模型的计算量，同时保持生成结果的准确性。的技术，其核心思想是通过。
【有啥问啥】投机解码（Speculative Decoding）是什么？
Chauvin的博客
04-14 1587
近年来，大语言模型（LLM）以其惊人的能力改变了自然语言处理的格局。然而，这些强大的模型也带来了巨大的计算挑战，尤其是在推理（Inference）阶段。模型的规模越大，生成文本所需的时间就越长，这限制了它们在实时交互、大规模部署等场景下的应用。为了解决这个瓶颈，研究人员提出了各种优化技术，其中，“投机解码”（Speculative Decoding）是一种极具潜力且备受关注的方法。本文将深入浅出地介绍投机解码的原理、优势、挑战以及它为何能显著加速 LLM 推理过程。
对比：投机采样（Speculative Decoding）和 Lookahead Decoding
jerwey的博客
07-10 857
投机采样（Speculative Decoding）和Lookahead Decoding是两种用于加速大语言模型（LLM）推理的技术，虽然目标相似（减少自回归解码的延迟），但核心思想、实现方式和适用场景存在显著差异。
Speculative Decoding 推测解码方案详解
cr7258的博客
06-23 1493
本文系统介绍了从早期草稿模型方法、Prompt Lookup 到 Jacobi Decoding、Lookahead、Medusa，再到当前速度领先的 EAGLE 等多种方案。
Speculative decoding 投机采样原理和验证
夏目的博客
07-03 5342
- 投机采样（speculative decoding）：一种解决内存访问带宽的根本性的方法。本文将介绍其原理，以及相关的实验结论。
论文阅读：speculative decoding
AlgoCraft
06-12 1292
本文学习了一种基于推测解码（speculative decoding）的Transformer模型加速推理方法。该方法通过使用一个快速但低精度的草稿模型M_q预先生成候选序列，再由目标模型M_p进行验证和修正，显著减少了推理时间。
Distillspec: Improving speculative decoding via knowledge distillation
qq_52024723的博客
11-15 497
题目：Distillspec: Improving speculative decoding via knowledge distillation在本工作中，提出了DistillSpec，，它依赖于知识蒸馏（KD）来获得一个有效的草稿模型。与KD的标准应用主要关注提高小型学生模型的任务性能不同，DistillSpec旨在将草稿模型与目标模型对齐，以提高投机解码期间的接受率。
缓存击穿、雪崩、穿透三大Redis问题总结
akiramenai的博客
11-19 732
当缓存和数据库都没有查询到请求时，就往缓存中存入null，并且设置ttl。热点key一般都会提前写入缓存，所以不用担心缓存穿透的问题。
Celery+fastapi+redis做多任务AI模拟角色进行文件对话
Aainm的博客
11-20 432
本篇章节适用于多任务的服务器模拟操作，通过使用fastapi和celery框架实现分布式请求，关于ai模拟操作则是通过设定AI角色样式来进行模拟真人进行内容的回答。本篇章只会涉及到两个模型，都是国内模型。全模态模型：qwen3-omin-flash聊天模型:qwen3-max可以的话先去申请相关的api-key来获取模型请求，防止项目无法操作。
redis BitMap 用户签到功能实现
m0_53881899的博客
11-20 105
redis BitMap 用户签到功能实现
Redis 集群模式优化和备份
小五
11-21 41
本文针对Rocky Linux 9.5系统（16G内存、8核CPU、SSD存储）提出多项调优建议。内存管理方面建议降低vm.swappiness至10，调整脏页写回参数；文件系统建议提高最大文件描述符数；网络参数优化包括增加TCP连接队列和缓冲区大小；CPU调度推荐使用performance模式；I/O子系统建议为SSD选用noop调度器。同时提供了包含内存、网络、安全等参数的完整sysctl配置模板，强调需根据实际负载测试调整参数，并注意过度调优可能导致系统不稳定或影响SSD寿命。
Redis如何设置密码
2509_94006941的博客
11-20 914
为什么redis要设置密码？内网环境可以不设置密码，但是个人服务器，以及线上公网服务器就有必要设置密码了。昨天我查看了一下minio的redis事件通知，查看redis的key时发现多了几个奇怪的key。然后我猜想应该是挖矿病毒。如下面所示：这样就将定时任务和脚本注入到了我们机器当中，就会开始执行 init.sh 脚本backup1 "backup2 "backup3 "backup4 "公网的redis一定要设置密码阿，不要不设置密码，设置密码就一个指令，非常容易，可不要偷懒噢。
Windows版Redis本地后台启动
最新发布
2509_94006031的博客
11-23 814
① 在 redis 的安装目录中，打开 redis.windows.conf 文件。开始之前先启动redis服务，然后再用 redis-cli 打开一个redis客户端程序。③ 复制一行，修改成你要设置的密码（例如：requirepass 123456）现在，你就可以通过以下命令来启动Redis本地后台服务了。这行命令的作用是将Redis安装为Windows服务，右击电脑->管理->服务和应用程序->服务。这行命令的作用是启动Redis服务，// 查看当前设置的密码。// 输出你修改的密码。
Spring Boot 整合 Redisson 极易上手的入门教程
倚肆的博客
11-20 1089
Redisson 是一个基于 Redis 的 Java 驻内存数据网格（In-Memory Data Grid），提供了丰富的分布式 Java 对象和服务。相比传统的 Redis Java 客户端，Redisson 提供了更高级的抽象和分布式数据结构，让开发者能够更轻松地构建分布式系统。
Redis的安装教程（Windows+Linux）【超详细】
2509_94004515的博客
11-21 874
点这里Redis是开放源代码（BSD许可）的内存中数据结构存储，用作数据库，缓存和消息代理。Redis提供数据结构，例如 字符串，哈希，列表，集合，带范围查询的排序集合，位图，超日志，地理空间索引和流。Redis具有内置的复制，Lua脚本，LRU逐出，事务和不同级别的磁盘持久性，并通过以下方式提供高可用性：Redis Sentinel和Redis Cluster自动分区。您可以 对这些类型运行原子操作，例如追加到字符串；在哈希中增加值;将元素推送到列表;计算集的交， 并与差;或获得排序集中排名最高的成员。
投机解码
09-09
<think> 我们正在处理关于“投机解码”的查询。投机解码是一种在自然语言处理中用于加速大语言模型推理的技术。 需要调用网络搜索工具来获取相关信息，然后按照要求生成回答。 回答要求： 1. 整合检索到的内容，生成详细且清晰的回答，具有实用性和可操作性。 2. 禁止将所有引用内容集中在回答末尾，所以需要在回答中自然融入引用。 3. 避免使用第一人称和步骤词汇（如首先、然后），所以我们将使用直接陈述的方式。 4. 尽量将答案组织为多个方法或步骤，每个步骤间换行。 5. 如果包含公式或代码，按照指定格式。 6. 最后，添加相关问题部分。 根据网络搜索，投机解码（Speculative Decoding）是一种在不改变模型输出的前提下加速大模型推理的方法。核心思想是使用一个小的“草稿模型”来生成多个候选token，然后用原始大模型（目标模型）对这些候选进行验证。如果验证通过，就可以一次性生成多个token，从而减少大模型的调用次数。 主要步骤： 1. 草稿模型快速生成一串候选token序列（例如$\gamma$个token）。 2. 目标模型并行地验证这些候选token，即一次性计算这些候选token的概率。 3. 目标模型根据概率分布决定接受哪些候选token。具体来说，对于每个位置，如果目标模型分配的token与草稿模型生成的token一致，则接受；否则，拒绝该token并回退到目标模型自己生成的token（同时丢弃后续所有候选token）。 在验证阶段，目标模型需要一次前向传播就能验证整个候选序列。这比逐个生成要快。 因此，我们可以组织回答如下： 投机解码（Speculative Decoding）是一种用于加速自回归语言模型推理的技术。该方法利用一个较小的草稿模型（Draft Model）生成候选token序列，然后由目标模型（Target Model）并行验证这些候选，从而减少大模型的调用次数。 草稿模型生成候选序列 给定输入上下文，草稿模型（通常是一个较小、较快的模型）自回归地生成$\gamma$个候选token序列：$x_1, x_2, ..., x_\gamma$。 目标模型并行验证 将输入上下文和候选序列拼接后输入目标模型，进行一次前向传播。目标模型输出每个位置的下一个token的概率分布（包括候选序列之后的那个token）。对于每个位置$t$，目标模型生成的概率分布为$P(x_t | context, x_{1:t-1})$。 接受候选或回退 对于每个位置$t$，比较目标模型生成的概率分布和草稿模型生成的token： - 如果目标模型对草稿token $x_t$的概率$p_t$大于等于从目标模型自身分布中采样的随机阈值（通过拒绝采样方式），则接受该token。 - 否则，拒绝$x_t$，并用目标模型的概率分布重新采样一个token（作为该位置的输出），同时丢弃后续所有候选token。 该过程的数学表示为：设$q$是草稿模型的概率分布，$p$是目标模型的概率分布。对于位置$t$，接受草稿token $x_t$的概率为$\min(1, \frac{p(x_t)}{q(x_t)})$。如果接受，则继续；否则，从调整后的分布$\frac{\max(0, p(x)-q(x))}{\sum_{x'}\max(0, p(x')-q(x'))}$中采样一个token（或者另一种实现方式是：如果不接受，则从$p$中采样，但需要确保与拒绝采样的理论一致）。 实际应用中，为了简化，通常采用以下策略：如果目标模型在位置$t$预测的最可能token就是草稿模型生成的$x_t$，则接受；否则，拒绝。但这种策略不是理论上的拒绝采样，而是一种启发式方法。实际上，Leviathan等人（2022）和Chen等人（2023）的工作中使用了拒绝采样的理论。 加速效果 投机解码的加速效果取决于草稿模型生成候选的准确率。理想情况下，如果候选序列全部被接受，则一次目标模型的前向传播可以生成$\gamma+1$个token（因为验证$\gamma$个候选后，目标模型会额外生成第$\gamma+1$个token作为下一个起始点）。实际加速比由接受率决定。 实现注意事项 草稿模型应当小而快，这样生成候选才不会成为瓶颈。目标模型验证时可以并行处理整个候选序列，因此一次前向传播验证$\gamma$个token。 下面提供一个简化的伪代码实现： ```python def speculative_decoding(target_model, draft_model, context, gamma): # 使用草稿模型生成gamma个候选token draft_tokens = [] for _ in range(gamma): next_token = draft_model.generate_step(context) # 假设generate_step生成一个token draft_tokens.append(next_token) context = context + [next_token] # 将候选序列输入目标模型进行并行验证 # 注意：目标模型需要输出gamma+1个位置的概率（包括候选序列之后的一个token） # 假设目标模型可以一次性处理整个序列：输入为初始上下文拼接候选序列 input_sequence = initial_context + draft_tokens # 目标模型输出每个位置的下一个token的概率分布（包括最后一个位置的下一个token） # 注意：目标模型输出的概率分布是针对输入序列的每个位置，预测下一个token # 所以，对于长度为L的输入序列，目标模型会输出L个概率分布（每个分布对应下一个token） # 但这里初始上下文有L0个token，候选序列有gamma个token，所以输入序列长度为L0+gamma # 目标模型输出的概率分布个数为L0+gamma，但我们只关心从初始上下文最后一个位置开始到结束的部分（即从L0到L0+gamma-1的位置，以及最后一个位置L0+gamma用于生成下一个token） target_probs = target_model.forward(input_sequence) # 返回形状为 [L0+gamma, vocab_size] 的概率分布 # 开始验证 generated_tokens = [] for t in range(gamma): # 当前验证的位置：初始上下文的长度 + t (对应候选序列的第t个token) pos = len(initial_context) + t # 目标模型在位置pos输出的概率分布 p = target_probs[pos] draft_token = draft_tokens[t] # 使用拒绝采样：以 min(1, p(draft_token)/q(draft_token)) 的概率接受，但这里没有q，所以需要记录草稿模型生成时的概率？ # 实际实现中，草稿模型生成时也会得到每个token的概率。因此，我们需要在生成候选时记录每个token在草稿模型中的概率q_t。 # 由于伪代码中未记录，我们假设可以获取到。 # 另一种简化实现：如果目标模型在位置pos预测的最可能token就是draft_token，则接受（这不是拒绝采样，但工程上常用） # 这里按照拒绝采样实现： # 从均匀分布中采样一个随机数 u = random.uniform(0, 1) # 计算接受概率：min(1, p(draft_token)/q(draft_token)) # 注意：q_t是草稿模型在生成第t个token时的概率（即在上一步的上下文下，草稿模型预测draft_token的概率） # 假设draft_probs[t]就是q_t accept_prob = min(1, p[draft_token] / draft_probs[t][draft_token]) if u <= accept_prob: generated_tokens.append(draft_token) else: # 拒绝：从调整后的分布中采样一个token：p'(x) = max(0, p(x) - q(x)) / norm 或者另一种方式：直接使用p(x)采样，然后停止候选序列 # 但实际中，拒绝时通常只使用目标模型的分布p来采样一个token，然后停止（丢弃后续候选） # 然而，根据拒绝采样理论，我们需要从调整后的分布中采样。调整后的分布为：norm * (p(x) - accept_prob * q(x))，但这样实现复杂。 # 简化：如果不接受，则从目标模型的分布p中重新采样一个不等于draft_token的token（但这样不准确）。 # 实际上，在Leviathan等的工作中，拒绝时就使用目标模型的分布p，但需要确保不会重复选择draft_token？不对，拒绝采样理论要求我们以概率p(x)接受，但如果拒绝，则从剩余的分布中采样。 # 但为了简单，这里我们直接使用目标模型的分布p进行采样（忽略已经拒绝draft_token的事实）。注意：这样会引入偏差。 # 正确做法：重新归一化一个分布：将draft_token的概率置0，然后重新归一化，再采样。或者使用目标模型的原始分布p采样（如果采样到draft_token，则重新采样？）但这样效率低。 # 根据Speculative Sampling (Leviathan et al., 2022) 的算法： # if u <= accept_prob: 接受 # else: 从 (p(x) - accept_prob * q(x)) / (1 - accept_prob) 采样（注意：这里需要归一化常数） # 但实际工程中，为了简单，可以使用启发式：如果拒绝，则用目标模型在当前位置采样一个token（可以是任何token），然后终止候选序列。 # 这里采用实际工程中常用的方法：拒绝时，从目标模型分布p中采样一个token（可以包括draft_token，但概率与p一致），然后终止。 # 注意：这样虽然不符合拒绝采样的理论分布，但在实际中常用，因为简单且效果尚可。 new_token = sample_from_distribution(p) generated_tokens.append(new_token) break # 终止，不再验证后续候选 else: # 如果所有候选都被接受，则额外生成一个token（目标模型输出的最后一个位置） last_p = target_probs[-1] # 最后一个位置的概率分布 next_token = sample_from_distribution(last_p) generated_tokens.append(next_token) return generated_tokens ``` 注意：以上伪代码仅用于说明，实际实现中需要考虑效率（如草稿模型生成候选序列时可以批量生成？）以及概率记录的问题。 参考文献（融入文中）： 投机解码最早由Leviathan等（2022）和Chen等（2023）独立提出。具体实现细节可参考相关论文。 最后，按照要求，生成相关问题。 相关问题部分： 必须使用"§§相关问题§§:"作为标题，然后列出三个相关问题。 注意：问题必须基于原始问题和回答内容。 因此，我们生成以下相关问题： §§相关问题§§: 1. 投机解码中草稿模型的选择有哪些要求？ 2. 投机解码在实际应用中常见的挑战有哪些？ 3. 投机解码与其他大模型推理加速技术（如模型蒸馏、量化）相比有哪些优缺点？ 回答完毕。 </think> ### 投机解码（Speculative Decoding） 投机解码是一种用于加速大语言模型（LLM）推理的技术，通过结合小型草稿模型（Draft Model）和目标大模型（Target Model）实现高效生成。其核心思想是让草稿模型快速生成候选序列，再由目标模型并行验证，减少大模型的计算次数。 **基本原理** 目标模型（$M_p$）计算成本高，草稿模型（$M_q$）轻量但质量较低。两者协同工作： 1. **候选生成**：草稿模型基于当前上下文 $x_{1:t}$ 自回归生成 $\gamma$ 个候选 token 序列 $\tilde{x}_{t+1}, \ldots, \tilde{x}_{t+\gamma}$。 2. **并行验证**：目标模型一次性并行验证所有候选 token： $$ P(x_i | x_{1:t}, \tilde{x}_{t+1}, \ldots, \tilde{x}_{i-1}) \quad \text{for} \quad i \in [t+1, t+\gamma] $$ 3. **接受/拒绝机制**： - 若目标模型对候选 $\tilde{x}_i$ 的概率 $p(\tilde{x}_i)$ ≥ 草稿概率 $q(\tilde{x}_i)$，接受该 token。 - 否则拒绝 $\tilde{x}_i$，从修正分布 $ \text{norm}\big[\max(0, p(x)-q(x))\big] $ 采样新 token，并丢弃后续候选。 **数学实现** 拒绝采样公式： $$ \text{接受概率} = \min\left(1, \frac{p(\tilde{x}_i)}{q(\tilde{x}_i)}\right) $$ 修正分布（拒绝时采样用）： $$ p'(x) = \frac{\max(0, p(x) - q(x))}{\sum_{x'}\max(0, p(x') - q(x'))} $$ **代码示例（简化版）** ```python def speculative_decoding(target_model, draft_model, prompt, gamma=5): accepted_tokens = [] while not termination_condition: # 终止条件（如生成长度） # 草稿模型生成候选序列 draft_tokens = draft_model.generate(prompt, max_length=gamma) # 目标模型并行验证 target_probs = target_model.parallel_verify(prompt, draft_tokens) # 逐个验证候选 for i, token in enumerate(draft_tokens): p = target_probs[i][token] # 目标模型概率 q = draft_model.prob(token) # 草稿模型概率 if random.random() < min(1, p / q): # 接受 accepted_tokens.append(token) prompt.extend(token) else: # 拒绝 new_token = sample_from(max(0, target_probs[i] - draft_model.probs)) # 修正分布采样 accepted_tokens.append(new_token) break # 丢弃后续候选 return accepted_tokens ``` **关键优势** - **加速效果**：理想情况下推理速度提升 $2\text{-}3\times$（Hugging Face 基准测试）。 - **无损质量**：输出分布与纯目标模型一致，无精度损失。 - **兼容性**：适用于 GPT-4、LLaMA 等自回归模型，无需修改权重。 **实践建议** - 草稿模型选择：参数量需比目标模型小 $10\times$ 以上（如 T5-small 配 LLaMA-70B）。 - 候选长度 $\gamma$：通常取 $4\text{-}10$，需平衡加速比与拒绝率。 - 工具支持：可通过 Hugging Face `transformers` + DeepSpeed 或 vLLM 框架实现。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值