
01 模型内部机制、KV Cache 与张量并行(Tensor Parallelism)
在 Part 1 中,探讨了 Nano - vLLM 的工程架构,当时将模型计算视为黑盒。现在,要打开这个盒子,深入探究模型内部原理,包括 Token 如何转化为向量、每个 decoder 层内部情况、KV Cache 在 GPU 显存中的存储方式,以及张量并行如何拆解计算任务到多个 GPU 上。读完本节,你将对从 Prompt 进入系统到文本生成输出的全过程有完整认知。
02 模型究竟是什么?
提到“模型”,人们常想到权重文件,但真正能推理的模型需三部分协同: - **Vocabulary**:token 和其对应 ID 的静态映射表,负责文本与数值表征的双向翻译。 - **Weights**:训练中学到的参数,如 7B 模型有 70 亿个可调参数。 - **Runtime Code**:定义使用权重、将输入转换为输出的执行逻辑,是在 GPU 上运行的部分。
2.1 为何推理引擎要自己实现模型代码(model code)
很多模型提供方虽开源了权重和 runtime code,但代码往往非“开箱即用”,需针对具体场景深度优化。这就是 vLLM 这类推理引擎重写 model code 的原因,vLLM 代码库涵盖多种模型架构优化,Nano - vLLM 简化后仅支持 Qwen 模型,但其工程模式和优化思路通用。
03 模型 pipeline
现在追踪一个 token 在模型中的流转过程。
3.1 Embedding:从 Token 到向量
旅程从 embedding 开始,token ID 是数字,嵌入层在词表中查找 ID 并检索出向量,即隐藏状态,是模型对该 token 的内部表征。选择 4096 维是在表达能力与计算成本间的权衡,更多维度能捕捉更细微语义,但需更多计算量和显存。
3.2 Decode Layers:魔法发生的地方
隐藏状态流经 24 层解码层,每层操作相同但权重不同,逐层精细化加工表征。每层接收和输出的隐藏状态 shape 不变(4096 维),这种统一性使层与层可堆叠。
3.3 LM Head:从向量回到 Token
经过所有解码层后,最终隐藏状态转换为词表上的概率分布,这是 LM Head 的工作,输出 logits,后续采样环节根据分值选出实际输出的词元。
04 解码层(Decode Layer)的内部构造
每个解码层有两大核心模块:注意力机制(Attention)和多层感知机(MLP)。
4.1 多头注意力机制(Multi - Head Attention)
现代 LLM 使用多头注意力机制,将注意力计算拆分到多个并行的“heads”中。Qwen 模型有 32 个 heads,每个处理 128 维切片。每个 head 执行投影,将 4096 维输入压缩成 128 维表征。每个 head 还参与注意力机制,计算当前 token 对先前 token 的关注程度,捕捉上下文。所有 heads 计算后,输出拼接并投影回 4096 维。
4.2 MLP:自我优化
MLP 接收注意力机制的输出并优化,独立处理每个 token 的隐藏状态。它先将隐藏状态从 4096 扩展到 11008 维,应用非线性激活函数,再压缩回 4096 维。这就像提升分辨率,扩展创造添加细节的空间,压缩是对信息增强后的表征的提炼。
4.3 Dense 架构与 MoE 架构的对比
之前描述的 MLP 是 dense 架构,每个 token 经同一个 MLP 模块处理。有些现代模型用 Mixture of Experts (MoE),有多个小型“expert” MLPs,由路由网络决定由哪些 experts 处理输入。使用 MoE 的主要动机是计算效率,而非输出质量。给定相同总参数量,dense 模型输出质量通常更高,但超大规模下 dense 模型训练计算成本高,MoE 可扩展到 dense 架构无法实现的参数量,以单位参数效率的适度下降换取可训练性。
05 KV Cache:数据平面
第一部分将 Block Manager 视为 KV 缓存的控制平面,现在聚焦数据平面,即 KV 缓存如何存储在 GPU memory 中。
5.1 什么被缓存了
Attention 计算中,每个 token 产生 K 和 V 向量,用于与后续 token 计算 Attention 分数,为避免重新计算,将它们缓存。
5.2 物理布局
GPU 上的 KV cache 是多维结构,包括 Block 维度、Layer 维度、K/V 维度和 Token 维度。Block Manager 中的一个逻辑块对应 GPU 上 24 × 2 = 48 个物理缓存区域。
5.3 用于缓存访问的 Triton Kernel
Nano - vLLM 使用 Triton Kernel 操作 GPU 内存,它是高级 GPU 编程语言,编译为高效的 CUDA 代码,封装了 GPU memory 管理的底层复杂性,让上层逻辑更简洁。
06 张量并行(Tensor Parallelism):计算层面
第一部分介绍了张量并行的通信模式,现在看实际计算如何拆分到各 GPU 上。
6.1 Attention 中的并行
以 TP = 2 为例,两张 GPU 都接收完整的隐藏状态,每张 GPU 处理一半的 head,产生部分输出,通过 All - reduce 合并结果。并行发生在 head 维度,每张 GPU 看到完整输入,但只计算分配的部分 head。
6.2 MLP 中的并行
MLP 并行类似,两张 GPU 接收完整隐藏状态,中间维度拆分,每张 GPU 计算部分输出,通过 All - reduce 合并。
6.3 通信的开销
张量并行有开销,All - reduce 操作增加延迟,所以在单机多 GPU 且有高速互联的场景下最有效,网络连接的机器间使用效果会大打折扣。其优势是每块 GPU 只需存储部分模型权重,能运行单个 GPU 内存装不下的模型。
07 思考:设计上的权衡取舍
了解内部机制后,探讨常见设计问题。
7.1 网络层(Layers)数与注意力头(Heads)数分别控制什么?
更多网络层数意味着更深的推理能力,更多注意力头数支持更丰富的注意力模式。但创建“窄而深”或“宽而浅”的模型效果不佳,模型需在广度与深度间取得平衡,成功的模型在这些维度间保持大致均衡比例。真正影响模型能力的是训练数据和训练方法,而非极端架构设计。
7.2 为什么 MoE 架构越来越流行?
混合专家模型(MoE)架构受欢迎不是因为单位参数产出更优结果,一个 70B 的稠密模型通常表现更好。MoE 让规模扩展成为可能,用当前基础设施训练 600B 的稠密模型成本高,但总参数量 600B、每词元仅激活 50B 参数的 MoE 模型可训练。它以单位参数效率的适度下降,换取触及原本无法达到的模型规模。
08 结语
至此,梳理了从输入提示词到生成文本的流程:Tokenization 转换文本为 token ID,Embedding 映射为隐藏状态向量,Decode layers 细化隐藏状态,KV cache 缓存中间结果,LM head 转换为 token 概率分布,Sampling 选择输出 token,Tensor parallelism 让步骤在多张 GPU 间扩展。推理引擎统筹流水线,模型架构定义计算逻辑。理解这些机制,能让大语言模型的“魔法”过程清晰可解。大语言模型本质是精密函数,“智能”源于参数规模、训练数据质量和工程巧思。无论部署模型、排查问题还是好奇系统工作原理,这份梳理都有帮助。
本期互动内容 🍻 文章提到推理引擎要重写 model code 来做深度优化。在你自己的实践中,有没有遇到过“理论可行但工程跑不动”的部署场景?最后是怎么妥协或突破的?
536



被折叠的 条评论
为什么被折叠?



