Mooncake：月之暗面Kimi联合清华等机构推出的大模型推理架构

最新推荐文章于 2025-07-10 01:00:00 发布
原创 最新推荐文章于 2025-07-10 01:00:00 发布 · 1.3k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#架构 #人工智能 #开源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

  1. 架构设计：Mooncake采用以KVCache为中心的分布式架构，分离预填充和解码集群，优化资源利用。
  2. 性能提升：通过高效的KVCache缓存和资源优化，显著提升大模型推理的吞吐量和效率。
  3. 应用广泛：支持多种应用场景，包括自然语言处理、内容推荐系统和搜索引擎等。

正文（附运行示例）

Mooncake 是什么

公众号: 蚝油菜花 - Mooncake

Mooncake是由月之暗面Kimi联合清华大学等机构共同开源的大模型推理架构。该架构以KVCache为中心，通过分布式设计和资源优化，显著提升了大模型推理的吞吐量和效率，同时降低了算力开销。Mooncake在长上下文场景中表现出色，支持多种应用场景，如自然语言处理、内容推荐系统和搜索引擎等。

Mooncake的核心优势在于能显著提升大模型推理的吞吐量，降低算力开销，在保持服务延迟相关的服务级别目标（SLO）的同时，处理高负载场景。架构在长上下文场景中表现出色，能显著提高吞吐量，同时支持基于预测的早期拒绝策略，优化过载情况下的资源分配。

Mooncake 的主要功能

  • 高效的大模型推理：通过分布式架构优化大模型的推理过程
最低0.47元/天 解锁文章
Mooncake：面向大语言模型服务的以 KVCache 为中心的架构
步子哥的博客
07-02 1123
Mooncake是 Kimi 的服务平台，Kimi 是由 Moonshot AI 提供的领先的 LLM 服务。它采用以 KVCache 为中心的分解架构，将预填充和解码集群分离。它还利用 GPU 集群未充分利用的 CPU、DRAM 和 SSD 资源来实现 KVCache 的分解缓存。Mooncake的核心是其以 KVCache 为中心的调度器，它在满足延迟相关的服务水平目标 (SLO) 的同时，平衡了最大化整体有效吞吐量。
最新开源：阿里开源QwQ-32B-Preview推理大模型！月之暗面Kimi开源大模型推理架构 Mooncake！阿里开源图像生成模型Qwen2VL-Flux！
u012744245的博客
12-02 2064
是由 Moonshot AI 提出的长文高效推理架构，它采用了 KVCache 为中心的分离架构，将预填充和解码集群分开，并利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源实现分离的 KVCache。在全面考察数学解题能力的 MATH-500 评测中，QwQ 斩获 90.6% 的高分，一举超越OpenAI o1-preview 和 o1-mini，体现了在各类数学主题上的全面理解；不仅能够根据用户输入的图像生成多幅相似图像，还支持文本引导的图像混合和图像引导的图像融合。
Mooncake - LLM 服务（月之暗面）
AI工程化、开源分享、文档翻译、代码笔记
02-01 3031
通过支持拓扑感知路径选择和多卡带宽聚合，带有传输引擎的vLLM的平均TTFT比传统的基于TCP的传输低25%。传输引擎提供了一个统一的接口来传输来自DRAM、VRAM或NVMe的数据，同时隐藏了与硬件相关的技术细节。传输引擎提供了更简单的接口和更有效的RDMA设备使用。Mooncake的核心是其以KVCache为中心的调度器，它在满足与延迟相关的服务级别目标（SLO）要求的同时，平衡了最大化整体有效吞吐量。Mooncake 是 kini的服务平台，是Moonshot AI 提供的 领先的大模型服务。
Mooncake项目解析：基于KVCache的解耦式大模型服务架构
gitblog_00151的博客
06-11 540
Mooncake是一个以KVCache为核心的解耦式架构，专为大型语言模型(LLM)服务而设计。该项目由Moonshot AI团队开发，目前已经作为Kimi智能助手的技术支撑平台投入实际应用。Mooncake的核心创新在于其独特的解耦架构设计，将传统LLM服务中的关键组件进行分离优化，显著提升了服务效率和资源利用率。 ## 核心组件与技术特点 ### 1. Transfer Engine（传输...
【Deepseek学习大模型推理】MOONCAKE: A KVCache-centric Architecture调度（中）调度
王尚权 qq:2515162716
04-23 1650
如图2所示，
【免费下载】 Mooncake与LMCache整合：构建高性能KVCache大模型服务系统
gitblog_01000的博客
06-11 879
在大型语言模型(LLM)服务领域，KVCache(键值缓存)技术已成为提升推理效率的关键。Mooncake和LMCache作为该领域的两个重要项目，通过深度整合实现了性能的显著提升。 Mooncake最初是为知名大模型聊天服务Kimi设计的服务平台，采用KVCache为中心的分布式架构，通过分离Prefill(预填充)和Decode(解码)操作并优化KVCache重用，大幅提升了系统吞吐量。经过...
阿里发布QwQ-32B-Preview模型，推理能力强劲；月之暗面Kimi与清华大学发布Mooncake开源项目
haleycat的博客
11-29 1114
摘要：AI模型企业Anthropic近日为其Claude聊天机器人推出“自定义样式”功能，用户可以根据具体场景调整文本生成风格。Claude现在提供“正式”、“简洁”和“解释性说明”三种预设样式，并允许用户上传自己的写作示例以进一步定制。GitLab极狐的AI技术产品主管表示，这一功能使得团队在多种场合下都能有效使用Claude，提升了文档撰写和项目管理的效率。
Mooncake：kimi后端推理服务的架构设计
u011160113的博客
12-28 2130
本文依托论文《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》来讲解kimi的后端服务架构Mooncake，并按照自己的思路来梳理论文中的一些关键信息。
【Deepseek学习大模型推理】MOONCAKE: A KVCache-centric Architecture 第一部分引言部分
王尚权 qq:2515162716
04-23 1205
作为模型即服务（MaaS）提供商，Kimi [5] 的核心目标之一是解决一个包含多重复杂约束的优化问题：优化目标是最大化整体有效吞吐量（直接影响收入），而约束条件则体现为不同层级的 SLOs。该平台以 KVCache 为中心，采用分离式架构——不仅将预填充（prefill）和解码（decoding）集群解耦，还通过高效利用 GPU 集群中未被充分利用的 CPU、DRAM、SSD 和网卡（NIC）资源，构建了分离式 KVCache。我们的分析基于表1的符号定义，并结合LLaMA3-70B的具体参数。
月之暗面科技开源kimi核心推理架构：“月饼”
qianggezhishen的专栏
12-08 1592
而且，传统的LLM服务架构通常都假设有足够的资源来处理所有的请求，但随着需求的增加，特别是在高峰时段，这变得越来越难。实验结果表明，与基线相比，月饼在模拟场景中实现了高达五倍的吞吐量增加，并在现实世界的工作负载下实现了75%更多的请求处理。月饼利用以KVCache为中心的预填充-解码（PD）分离技术和存储-计算解耦架构，显著提高了月之暗面科技的LLM服务Kimi的推理吞吐量。这种分离带来了显著的性能提升。未来，他们还计划在传输引擎的基础上构建月饼存储，它支持池化的KVCache，以实现更灵活的P/D解耦。
【免费下载】 Mooncake项目安装与配置指南
gitblog_00258的博客
03-29 814
Mooncake是一个为大规模语言模型（LLM）服务提供支持的开源平台。它采用了一种以KVCache为中心的去中心化架构，旨在优化长上下文场景下的推理性能。Mooncake通过将预填充和解码集群分离，以及利用GPU集群中未充分利用的CPU、DRAM和SSD资源，实现了一个去中心化的KVCache。该项目是Moonshot AI公司提供的一个领先LLM服务Kimi的支撑平台。 主要编程语言：C++...
Mooncake框架编译与安装完全指南
gitblog_01112的博客
06-11 679
Mooncake是一个高性能分布式计算框架，专注于提供高效的GPU加速和存储解决方案。本文将详细介绍Mooncake框架的编译安装过程，包括自动安装和手动安装两种方式，以及各种高级编译选项的配置方法。 ## 环境准备 ### 操作系统要求 推荐使用Ubuntu 22.04 LTS或更高版本作为开发环境，这是经过充分测试的稳定平台。对于其他Linux发行版，如CentOS或Alibaba Li...
一文看懂 Mooncake
关于我的学习记录
04-28 3926
Kimi与清华大学联合参与的项目论文《Mooncake: Trading More Storage for Less Computation-A KVCache-centric Architecture for Serving LLM Chatbot》获得计算机存储领域顶会。
Mooncake：LLM服务的KVCache为中心分解架构
yorkhunter的博客
07-01 7208
24年6月AI公司月之暗面的技术报告“Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving”。
Kimi悄悄开源了自家推理框架Mooncake~
AIBigModel的博客
12-02 1437
Mooncake的核心是其以KVCache为中心的调度器，它在最大化整体有效吞吐量的同时，满足与延迟相关的服务水平目标（SLOs）要求。Mooncake的底层部分是传输引擎（Transfer Engine），它支持通过TCP、RDMA、基于NVIDIA GPUDirect的RDMA以及NVMe over Fabric（NVMe-of）协议进行快速、可靠和灵活的数据传输。未来，计划在传输引擎的基础上构建Mooncake Store，它支持池化的KVCache，以实现更灵活的预填充/解码（P/D）解耦。
Mooncake: Trading More Storage for Less Computation—A KVCache-centric 以KVCache为中心的架构用于服务LLM聊天机器人
最新发布
Together_CZ的博客
07-10 1583
Mooncake: Trading More Storage for Less Computation — A KVCache-centric Architecture for Serving LLM Chatbot——以 KVCache 为中心的架构，用于服务 LLM 聊天机器人
月之暗面kimi底层推理系统原理
stephen147的博客
07-02 3590
现代大型语言模型（LLMs）基于Transformer架构，该架构利用注意力机制和多层感知器（MLP）来处理输入。基于流行的Transformer模型，例如GPT [10] 和 LLaMA [11]，采用的是仅解码器结构。每个推理请求在逻辑上被划分为两个阶段：预填充阶段和解码阶段。在预填充阶段，所有输入token并行处理。此阶段生成第一个输出token，同时存储计算出的中间结果，这些中间结果被称为KVCache。
【Deepseek学习大模型推理】MOONCAKE: A KVCache-centric Architecture实验部分（下）
王尚权 qq:2515162716
04-25 1062
如前所述，根据Kimi的历史统计数据，MOONCAKE在A800和H800集群上分别实现了比基于vLLM的原有系统多处理115%和107%的请求量。具体而言，我们测量每个请求的首令牌生成时间（TTFT）和尾部延迟（TBT），其中TBT通过计算最长10%的token到达间隔的平均值确定。如§2所述，TTFT阈值设为30秒，TBT阈值根据场景分别设为100 ms、200 ms和300 ms。若请求的TTFT与TBT均低于各自阈值，则视为有效请求，有效请求占总请求的比例定义为有效请求容量。
Kimi终于开源了，联手清华开源大模型推理架构Mooncake
weixin_41446370的博客
11-30 2630
Mooncake 推理系统通过创新的 PD 分离架构和以存换算为中心的理念，显著提升了推理的吞吐能力，吸引了广泛的行业关注。” 他期待更多企业和研究机构加入 Mooncake 项目，共同探索更高效的模型推理系统架构，让 AI 助手等基于大模型技术的产品能够惠及更广泛的人群。同时，该项目将兼容多种推理引擎和底层存储、传输资源。Kimi 公司的工程副总裁许欣然表示:“通过与清华大学 MADSys 实验室的紧密合作，我们共同打造了分离式的大模型推理架构 Mooncake，实现了推理资源的极致优化。
mooncake
03-14
Mooncake 是由月之暗面 Kimi 联合清华大学等机构共同开发的一种以 KVCache 为核心的分布式推理架构[^2]。该架构旨在提升大规模语言模型的推理性能，特别是在长上下文场景下的表现尤为突出。 #### 架构特点 Mooncake...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值