[DeepSeek] gpu_memory_utilization=0.7的时候没有OOM，等gpu_memory_utilization=0.8的时候反而OOM了？

这是一个非常好的问题，它揭示了 gpu_memory_utilization 参数行为的复杂性。在 vLLM 中，从 0.7 增加到 0.8 时发生 OOM（Out Of Memory）是完全可能且合理的，这并非参数失效，而是由其底层设计和工作原理决定的。

核心原因在于：gpu_memory_utilization 不是一个“精确”的内存限制器，而是一个“目标”或“预算”。vLLM 会尝试在这个预算内运行，但实际的内存需求可能因其他因素而超过这个软限制，导致 OOM。

以下是导致这种现象的几个关键原因：

---

1. 主要原因：KV Cache 的块式内存管理

这是最可能的原因。vLLM 使用 PagedAttention 技术，将 KV Cache 划分为固定大小的块（blocks）。

• 在 0.7 时：vLLM 根据这个“预算”计算出一个它认为安全的块数量（Number of Blocks）。系统在这个块数量下运行稳定，因为总内存使用量（模型权重 + 剩余块内存 + 其他开销）低于可用的物理显存。
• 当你增加到 0.8 时：vLLM 会重新计算并分配更多的块。这些额外的块是为了服务更多的并发请求（max_num_seqs）或更长的序列。
• 问题在于：分配这些新块所需的额外内存，可能 push 了总内存使用量越过了物理显存的临界点。虽然预算只增加了 10%，但新块分配可能是不连续的、额外的开销，导致瞬间的峰值内存需求超过了显卡的实际容量。

类比：你的房间（GPU显存）有 100 平方。你计划用 70 平方（0.7）放