
加速 Gemma 4:借助多令牌预测草稿器实现更快推理
2026 年 5 月 5 日
通过使用多令牌预测(MTP)草稿器,Gemma 4 模型减少了延迟瓶颈,为开发者带来了更高的响应速度。
奥利维尔·拉孔布,产品管理总监;马腾·格罗滕多斯特,开发者关系工程师。
就在几周前,推出了 Gemma 4,这是目前最强大的开源模型。推出后短短几周内,Gemma 4 的下载量就超过了 6000 万次,它为开发者工作站、移动设备和云端带来了前所未有的每参数智能水平。如今,进一步提升了其效率。
为 Gemma 4 系列发布了多令牌预测(MTP)草稿器。这些草稿器采用了专门的推测解码架构,在不降低输出质量或推理逻辑的前提下,实现了高达 3 倍的速度提升。
每秒令牌速度的提升是在使用 LiteRT - LM、MLX、Hugging Face Transformers 和 vLLM 的硬件上进行测试的。
为什么要采用推测解码?
从技术角度来看,标准大语言模型(LLM)推理受内存带宽限制,这会造成严重的延迟瓶颈。处理器大部分时间都在将数十亿个参数从显存(VRAM)传输到计算单元,只为生成一个令牌。这导致计算资源利用率低下,延迟高,在消费级硬件上尤为明显。
推测解码将令牌生成与验证分离。通过将一个大型目标模型(如 Gemma 4 31B)与一个轻量级草稿器(MTP 模型)配对,可以利用闲置的计算资源,让草稿器在目标模型处理一个令牌的时间内“预测”出多个未来令牌。然后,目标模型会并行验证这些建议的令牌。
推测解码的工作原理
标准大语言模型以自回归方式生成文本,每次精确生成一个令牌。虽然这种方法有效,但对于预测明显的后续内容(如在“行动胜于……”后预测“言语”)和解决复杂的逻辑谜题,它所投入的计算量是相同的。
MTP 通过推测解码来缓解这种低效问题,这是 Google 研究人员在《通过推测解码实现变压器的快速推理》中提出的技术。如果目标模型认可草稿内容,它会在一次前向传播中接受整个序列,甚至还会额外生成一个令牌。这意味着应用程序可以在通常生成一个令牌的时间内输出完整的草稿序列和一个额外的令牌。
从边缘设备到工作站,释放更快的 AI 性能
对于开发者而言,推理速度往往是生产部署的主要瓶颈。无论在构建代码助手、需要快速多步规划的自主代理,还是完全在设备上运行的响应式移动应用程序,每毫秒都至关重要。
通过将 Gemma 4 模型与其对应的草稿器配对,开发者可以实现以下目标:
- 提升响应速度:大幅降低近实时聊天、沉浸式语音应用程序和智能工作流程的延迟。
- 加速本地开发:以史无前例的速度在个人电脑和消费级 GPU 上运行 26B MoE 和 31B Dense 模型,为无缝、复杂的离线编码和智能工作流程提供支持。
- 增强设备端性能:通过更快地生成输出,最大限度地提高 E2B 和 E4B 模型在边缘设备上的实用性,从而节省宝贵的电池电量。
- 零质量损失:由于主要的 Gemma 4 模型保留了最终验证环节,可以获得相同的前沿推理能力和准确性,只是速度大幅提升。
在 NVIDIA RTX PRO 6000 上运行 Gemma 4 26B。标准推理(左)与 MTP 草稿器(右)的每秒令牌数对比。输出质量相同,但等待时间减半。
深入了解 MTP 草稿器
为了让这些 MTP 草稿器既快速又准确,在底层引入了多项架构改进。草稿模型可以无缝利用目标模型的激活值并共享其键值(KV)缓存,这意味着它们无需浪费时间重新计算大模型已经得出的上下文信息。对于 E2B 和 E4B 边缘模型,由于最终的对数几率计算是一个很大的瓶颈,甚至在嵌入器中实现了一种高效的聚类技术,以进一步加速生成过程。
还对特定硬件的优化进行了深入分析。例如,在苹果硅芯片上,26B 专家混合模型在批量大小为 1 时会面临独特的路由挑战,但同时处理多个请求(如批量大小为 4 到 8)可以在本地实现高达约 2.2 倍的速度提升。在增加批量大小时,使用英伟达 A100 也能获得类似的提升。
想了解其具体工作机制吗?发布了一篇深度技术解读,详细剖析了这些草稿器的可视化架构、KV 缓存共享和高效嵌入器。
如何开始使用
Gemma 4 系列的 MTP 草稿器现已发布,采用与 Gemma 4 相同的开源 Apache 2.0 许可证。阅读文档以了解如何将 MTP 与 Gemma 4 结合使用。可以立即在 Hugging Face、Kaggle 上下载模型权重,并开始使用 Transformers、MLX、VLLM、SGLang 和 Ollama 进行更快的推理实验,或者直接在 Google AI Edge Gallery 的安卓版或 iOS 版中试用。
迫不及待地想看看这种新的速度提升将如何加速在 Gemmaverse 中的下一个项目。
相关文章
- 开发者工具:Gemini API 文件搜索现已支持多模态:构建高效、可验证的检索增强生成(RAG),作者:Ivan Solovyev 和 Kriti Dwivedi,2026 年 5 月 5 日
- AI:2026 年 4 月我们发布的最新 AI 新闻,作者:The Keyword Team,2026 年 5 月 4 日
- 开发者工具:利用 Gemini API 中的 Webhook 减少长时间运行任务的摩擦和延迟,作者:Lucia Loher 和 Hussein Hassan Harrirou,2026 年 5 月 4 日
- 开发者工具:参加 Google 和 Kaggle 推出的全新 AI 代理 Vibe 编码课程,作者:Anant Nawalgaria 和 Frank Guan,2026 年 4 月 27 日
- Gemini 模型:Deep Research Max:自主研究代理的重大突破,作者:Lukas Haas 和 Srinivas Tadepalli,2026 年 4 月 21 日
- 开发者工具:使用您的 Google AI 订阅在 AI Studio 中开始 Vibe 编码,作者:Seth Odoom,2026 年 4 月 20 日



被折叠的 条评论
为什么被折叠?



