默认即最好-优快云博客

原创 PagedAttention 在 vLLM 中的实现原理

是 vLLM 的核心注意力算法，灵感来自操作系统中的虚拟内存与分页（Virtual Memory & Paging）。它允许 KV Cache 存储在非连续的物理内存中，通过Block Table（块表）维护逻辑块到物理块的映射。vLLMKV Cache 内存接近零浪费请求内/跨请求的 KV Cache灵活共享相比 FasterTransformer、Orca 等系统2–4× 吞吐提升。

2026-06-24 11:14:15 302

原创 vLLM 框架详细流程

Scheduler · Worker · GPUModelRunner 调用顺序与架构说明（基于 vLLM V1 引擎）

2026-06-23 10:13:49 256

前缀缓存（Prefix Caching）是一种大语言模型推理优化技术，它的核心思想是缓存历史对话中的 KV Cache，以便后续请求能直接重用这些中间结果。这样可以显著降低首 token 延迟，提升整体推理效率。Prefix Caching 尤其适用于多轮对话、长文档问答等高前缀复用场景。Few-shot learning（少样本学习）：多个请求都包含相同的 few-shot 示例部分，只是最后的问题不同。

2026-06-23 10:11:55 258

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qq_31000153的博客

原创 PagedAttention 在 vLLM 中的实现原理

原创 vLLM 框架详细流程

原创 vllm prefix-caching实现原理

空空如也

空空如也