如何评价 Kimi 开源的推理平台 Mooncake？对行业有什么影响？

原创 已于 2025-08-30 22:39:27 修改 · 978 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #AIGC

于 2025-08-30 22:38:10 首次发布

2月26日，Mooncake的论文获得「计算机存储顶会 FAST 2025」Best Paper，这也是国内连续第三年拿到FAST Best Paper。同时，Mooncake 团队宣布和 vLLM 团队已经合作制定了一个多阶段路线图。这次整合将为 vLLM 引入 P/D（Prefill/Decode）分解和全局 KVCache 设计。

Mooncake：

GitHub - kvcache-ai/Mooncake: Mooncake is the serving platform for Kimi, a leading LLM service provi​github.com/kvcache-ai/Mooncake

大模型训练/推理 高性能优化

原始论文发表于 2024年，论文地址：Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving

最低0.47元/天 解锁文章
一文看懂 Mooncake
关于我的学习记录
04-28 3208
Kimi与清华大学联合参与的项目论文《Mooncake: Trading More Storage for Less Computation-A KVCache-centric Architecture for Serving LLM Chatbot》获得计算机存储领域顶会。
Mooncake 使用与启动教程
gitblog_00863的博客
03-29 992
Mooncake 是由 Kimi 提供的领先的语言模型服务（LLM）——Moonshot AI 的服务平台。该平台采用了一种以 KVCache 为核心的去聚合架构，将预填充和解码集群分离。它利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源来实现 KVCache 的去聚合缓存。Mooncake 的核心是其 KVCache 为中心的调度器，它平衡了最大化整体有效吞吐量与满足延迟相关...
【大模型推理】PD分离mooncake 学习
王尚权 qq:2515162716
06-20 1418
你理解的核心完全正确：Prefill阶段之所以要“着急忙慌”地、Layer-wise异步地将KVCache移出GPU（Offload到CPU或Transfer给Decode实例），其根本驱动力在于。
探索神秘的月之饼：Mooncake项目详解
gitblog_00060的博客
04-06 680
探索神秘的月之饼：Mooncake项目详解 mooncake适用于单片机的多 App 生命周期调度器. Light weight multiple apps' life cycle dispatcher.项目地址:https://gitcode.com/gh_mirrors/moo/mooncake 是一个引人入胜的开源项目，它以其独特的技术架构和实用功能吸引着广大开发者。本文将带您深入了解Mo...
【Deepseek学习大模型推理】MOONCAKE: A KVCache-centric Architecture调度（中）调度
王尚权 qq:2515162716
04-23 1563
如图2所示，
Kimi悄悄开源了自家推理框架Mooncake~
AIBigModel的博客
12-02 1323
Mooncake的核心是其以KVCache为中心的调度器，它在最大化整体有效吞吐量的同时，满足与延迟相关的服务水平目标（SLOs）要求。Mooncake的底层部分是传输引擎（Transfer Engine），它支持通过TCP、RDMA、基于NVIDIA GPUDirect的RDMA以及NVMe over Fabric（NVMe-of）协议进行快速、可靠和灵活的数据传输。未来，计划在传输引擎的基础上构建Mooncake Store，它支持池化的KVCache，以实现更灵活的预填充/解码（P/D）解耦。
Kimi终于开源了，联手清华开源大模型推理架构Mooncake
weixin_41446370的博客
11-30 2569
Mooncake 推理系统通过创新的 PD 分离架构和以存换算为中心的理念，显著提升了推理的吞吐能力，吸引了广泛的行业关注。” 他期待更多企业和研究机构加入 Mooncake 项目，共同探索更高效的模型推理系统架构，让 AI 助手等基于大模型技术的产品能够惠及更广泛的人群。同时，该项目将兼容多种推理引擎和底层存储、传输资源。Kimi 公司的工程副总裁许欣然表示:“通过与清华大学 MADSys 实验室的紧密合作，我们共同打造了分离式的大模型推理架构 Mooncake，实现了推理资源的极致优化。
Kimi开源底层推理框架，1小时GitHub揽星1.2k
量子位
11-28 4028
一水 发自 凹非寺量子位 | 公众号 QbitAI什么？Kimi底层推理架构刚刚宣布：开！源！了！你没听错，就是那个承载了Kimi线上80%以上流量的架构。大约几小时前，月之暗面Kimi联合清华大学等机构，开源了大模型推理架构Mooncake。根据官方介绍，本次开源将采用分阶段的方式：逐步开源高性能KVCache多级缓存Mooncake Store的实现，同时针对各类推理引擎和底层存储/传输资源进...
Mooncake：月之暗面Kimi联合清华等机构推出的大模型推理架构
士多啤梨先生の博客
12-01 1319
Mooncake是由月之暗面Kimi联合清华大学等机构共同开源的大模型推理架构。该架构以KVCache为中心，通过分布式设计和资源优化，显著提升了大模型推理的吞吐量和效率，同时降低了算力开销。Mooncake在长上下文场景中表现出色，支持多种应用场景，如自然语言处理、内容推荐系统和搜索引擎等。
最新开源：阿里开源QwQ-32B-Preview推理大模型！月之暗面Kimi开源大模型推理架构 Mooncake！阿里开源图像生成模型Qwen2VL-Flux！
u012744245的博客
12-02 2026
是由 Moonshot AI 提出的长文高效推理架构，它采用了 KVCache 为中心的分离架构，将预填充和解码集群分开，并利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源实现分离的 KVCache。在全面考察数学解题能力的 MATH-500 评测中，QwQ 斩获 90.6% 的高分，一举超越OpenAI o1-preview 和 o1-mini，体现了在各类数学主题上的全面理解；不仅能够根据用户输入的图像生成多幅相似图像，还支持文本引导的图像混合和图像引导的图像融合。
阿里发布QwQ-32B-Preview模型，推理能力强劲；月之暗面Kimi与清华大学发布Mooncake开源项目
haleycat的博客
11-29 1083
摘要：AI模型企业Anthropic近日为其Claude聊天机器人推出“自定义样式”功能，用户可以根据具体场景调整文本生成风格。Claude现在提供“正式”、“简洁”和“解释性说明”三种预设样式，并允许用户上传自己的写作示例以进一步定制。GitLab极狐的AI技术产品主管表示，这一功能使得团队在多种场合下都能有效使用Claude，提升了文档撰写和项目管理的效率。
开源大模型推理引擎现状及常见推理优化方法总结
AIBigModel的博客
11-09 3415
前一段时间sglang-v0.3.0和vllm-v0.6.0前后脚发布之后，就一直想总结梳理一下现在主流的大模型推理引擎。因为我觉得这也算是一个有意义的节点吧，从此开源大模型推理引擎总算是由"非常粗糙，但是能用"的阶段迈入到了"好用，稍微有那么点粗糙"的阶段。大模型的推理引擎实际也就是近一两年才开始飞速发展，从最开始的tgi和vllm并驾齐驱到如今sglang、lmdeply的异军突起，整个开源社区都是非常有活力的。
黄仁勋GTC开场：「AI-XR Scientist」来了！
2501_94005722的博客
11-20 1309
丛乐 (Le Cong)，斯坦福大学医学院病理学系和遗传学系教授。他被公认为是 CRISPR 基因编辑领域的奠基人之一。早在哈佛大学攻读博士学位期间，丛乐在导师张锋（Feng Zhang）和乔治・丘奇（George Church）的指导下，作为第一作者在 Science, Cell, Nature 杂志上发表了数篇标志性论文，首次证实 CRISPR/Cas9 系统可以在哺乳动物和人类细胞中实现基因编辑，为这一革命性技术的后续应用奠定了基石。
传统NLP算法
记录成长‌，知识沉淀，连接同行‌
11-19 736
传统NLP算法与当前大模型的对比分析 传统NLP算法主要基于规则和统计模型（如HMM、CRF、SVM），依赖人工特征工程和领域知识，适合特定任务但泛化能力有限。其优势在于可解释性强、计算资源需求低。典型应用包括分词、命名实体识别和文本分类等。 现代大模型（如Transformer架构LLM）采用预训练-微调范式，通过海量数据自动学习语言表示，具备强大的生成能力和跨任务迁移性。它们能处理复杂任务如对话生成和多语言翻译，但需巨额计算资源。 二者存在技术演进关系：大模型继承了传统NLP的核心思想，但通过深度学习实
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1473
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 459
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
最新发布
人生不是轨道，是旷野。希望每天都有好心情。
11-23 143
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
创客匠人 2025 高峰论谈（11.22-25）：AI 智能体重构创始人 IP 打造与知识变现的管理逻辑
ckjrxx的博客
11-20 627
这一 “数据化定位逻辑”，将在。创客匠人峰会筹备阶段强调，AI 智能体的核心意义是 “解放人”—— 将创始人从机械性工作中解放，专注知识体系迭代、用户信任构建等核心价值创造，让知识变现从 “个人生意” 升级为 “企业级业务”。创始人 IP 定位的核心是 “找到市场需求与核心能力的交集”，传统模式本质是 “个体直觉管理”，而 AI 智能体通过数据化管理思维，将定位转化为可量化、可追溯的流程。这些问题本质是企业管理中 “个体能力” 与 “系统效率” 的失衡，而 AI 智能体的出现，正从管理底层重构这一逻辑。
deepspeed+KIMI
02-28
### 集成 DeepSpeed 和 KIMI 框架 DeepSpeed 是一种用于训练大规模深度学习模型的库，能够显著提升分布式训练效率并优化资源利用。而 KIMI 可能是指特定于某个环境下的框架或工具集，在此假设其为与机器学习有关的技术栈的一部分。 为了在项目中集成这两个框架，可以遵循如下指南： #### 安装依赖项 首先安装必要的 Python 库来支持 DeepSpeed 功能： ```bash pip install deepspeed ``` 对于 KIMI 的具体安装方式取决于该组件的具体实现形式；如果是开源软件，则应参照官方文档获取最新的安装指令。 #### 修改 Web Configs 文件路径设置 当遇到启动错误提示无法找到 `PRODUCT_INFO_YAML_PATH` 时，应在项目的 `web_configs.py` 中加入指定配置文件的位置信息，并确保 `product_info.yaml` 已被放置到了相应的目录下[^1]。 #### 初始化 DeepSpeed 环境变量 为了让应用程序识别到 DeepSpeed 所需的各项参数，可以在运行脚本前设定一些环境变量，比如启用零冗余优化器 (ZeRO) 来节省内存消耗： ```bash export DEEPSPEED_ZERO_STAGE=2 ``` #### 创建兼容的 PyTorch 模型类 编写一个继承自 `torch.nn.Module` 的新类，以便后续可以通过调用 `.to('cuda')` 方法将其迁移到 GPU 上执行计算任务。同时定义好 forward 函数以描述数据流经网络的过程。 ```python import torch from transformers import BertForSequenceClassification class MyModel(torch.nn.Module): def __init__(self): super(MyModel, self).__init__() self.bert = BertForSequenceClassification.from_pretrained('bert-base-uncased') def forward(self, input_ids=None, attention_mask=None, labels=None): outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask, labels=labels) return outputs.logits ``` #### 构建 DeepSpeed 训练引擎实例 创建一个新的 Trainer 类用来管理整个训练过程中的细节操作，包括但不限于加载检查点、保存最佳权重等动作。这里会引入 DeepSpeed Engine 对象作为核心构件之一。 ```python import os import deepspeed def create_deepspeed_engine(model, optimizer, lr_scheduler, config_dict_or_path='ds_config.json'): model_engine, _, _, _ = deepspeed.initialize( args=None, model=model, model_parameters=[p for p in model.parameters() if p.requires_grad], config=config_dict_or_path) return model_engine ``` #### 调整 KVCache 大小策略 考虑到 Mooncake 架构的特点——即专注于改进KV缓存机制从而增强性能表现——可考虑采用多种手段缩小KV缓存量级，进而间接促进批处理规模扩大及命中率上升。这不仅有助于缓解硬件压力还能加快推理速度[^2]。 #### 实现示例代码片段 最后给出一段完整的Python程序样例供参考： ```python if __name__ == "__main__": from my_model_module import MyModel # 加载预训练好的BERT分类器 bert_classifier = MyModel() # 设置DeeepSpeed初始化所需的JSON配置文件位置 ds_config_file = './path/to/deepspeed/config' # 将模型转换为适合GPU加速的形式 device = 'cuda' if torch.cuda.is_available() else 'cpu' bert_classifier.to(device) # 获取优化器对象 optmizer = AdamW(bert_classifier.parameters(), lr=5e-5) # 合并上述要素构建最终版训练引擎 trainer = create_deepspeed_engine(bert_classifier, optmizer, None, ds_config_file) # 开始迭代更新权值... while not finished_training: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值