如何利用Kimi解读Kimi的KVCache技术细节

最近Kimi公布了一篇Mooncake: Kimi's KVCache-centric Architecture for LLM Serving的文章，详细介绍了Kimi背后的推理架构，因此笔者想到用Kimi解读Kimi，梳理相关技术要点如下，供大家参考：

文章 "Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving" 介绍了 Mooncake 这一为大型语言模型(LLM)服务而设计的服务平台。以下是从文章中提取的技术要点、解决的问题以及提升效果的总结：

解决的问题

1. 高负载挑战：Mooncake 面临由于高度超载场景带来的挑战，这与传统研究不同，后者假设所有请求都会得到处理134。
2. 早期拒绝策略：为了缓解高负载问题，开发了基于预测的早期拒绝政策13。

Mooncake 架构的核心特点：

• KVCache-中心化架构：采用了解耦的预填充（prefill）和解码（decoding）集群，以KVCache为中心进行调度和优化。
• 资源的充分利用：利用GPU集群中未充分利用的CPU、DRAM和SSD资源，通过分布式KVCache实现高效的缓存机制。
• KVCache中心化调度程序：开发了一个调度程序，用以平衡整体吞吐量的最大化和满足延迟相关的服务级别目标（SLOs）。

架构设计动机与目标：

• 多样化工作负载：应对LLM服务中的多样化工作负载，包括不同的输入/输出长度、请求到达频率和分布。
• 优化问题：作为模型即服务（MaaS）提供商，Kimi旨在在满足不同SLOs的约束下，最大化整体有效吞吐量。

架构实施细节：

• 预填充池的实现：介绍了如何实现一个独立的预填充节点池，并通过分块管道并行性（Chunked Pipeline Parallelism, CPP）机制来处理长上下文输入。
• KVCache中心化请求调度算法：详细描述了如何进行基于KVCache的请求调度，包括自动化热点