- 博客(66)
- 收藏
- 关注
RSS订阅
原创 GPUStack v2.2 MaaS+GPUaaS：从模型服务到 Token 工厂，从算力池化到 GPU 运营
🔥 GPUStack v2.2.0 开源版已正式发布！我们发布了 GPUStack 2.2 版本，内置新增多款主流模型，支持 GPU 实例服务、Helm Chart K8s 一键部署、OceanBase 与 openGauss 信创数据库支持、增强 API Key 管理、重构用量统计页面、Multi-LoRA、vLLM MP 分布式模式、模型实例健康检查等新特性，欢迎体验~
2026-06-23 15:50:25
265
原创 大模型实战｜实测：8 卡平头哥 ZW610E，在 GPUStack 上跑通大模
文章记录8卡平头哥ZW610E一体机通过GPUStack与vLLM部署Qwen3-14B、32B及Embedding-8B的全过程，涵盖镜像离线搬运、存储迁移、多卡通信和模型路由等问题。实测32B四卡短文本峰值吞吐1966 tok/s，14B单卡1223 tok/s；短问答侧重14B每卡效率，长文档与RAG侧重32B。文中结合延迟指标给出运营并发建议，并说明仍需补测的场景。
2026-11-05 14:10:10
327
原创 官方说不支持？但我还是用 GPUStack 在 DGX Spark 上跑通了 Qwen-Image-2.1
官方文档写着ARM不支持，DGX Spark就真跑不了？本文从实测出发，记录Qwen-Image-2.1的镜像构建、依赖保护、网络排障与GPUStack接入过程，验证文生图、图改图、原生透明底及LoRA加载链路。无需更换硬件或升级驱动，即可通过统一API提供图像服务，1024×1024文生图实测49秒，并说明性能与验证边界。
2026-11-03 15:01:57
331
原创 8×Tesla T10 跑通 GPUStack：SM75 完整部署实战
本文基于八张Tesla T10显卡，完整介绍SM75架构下GPUStack与定制vLLM后端的部署实践。从环境检查、镜像构建、服务与工作节点配置，到量化模型上线，逐步讲解八卡并行、显存申报、图像输入及编译缓存等关键设置。同时涵盖控制面板、Ultra工作台、BenchLocal校验器、吞吐测速与雷达图评测，并提供多用户API接入、验收步骤和常见故障排查方法，帮助读者完成从部署到验证的全流程。
2026-10-30 11:46:54
316
原创 8 张 A100 跑通 DeepSeek-V4.1-Flash-1017：能跑多快，代价多大？
本文记录通过 GPUStack 与 vllm-backport，在单机 8 张 A100 上部署 DeepSeek-V4.1-Flash-1017 的完整实践，解析低精度权重兼容、显存分配与百万上下文支持。五组压测显示，单流输出达 129 token/s，长输出吞吐达 1,537 token/s，同时揭示高并发延迟、缓存容量与参数调优之间的取舍。
2026-10-29 10:04:56
199
原创 GPUStack v2.3：PD 分离、共享缓存、vGPU 与弹性调度背后的系统化推理工程
推理优化如何落地为可持续运营的模型服务？GPUStack v2.3 将自动 PD 分离编排、共享 KV Cache、vGPU 切分、智能压测与定时伸缩纳入统一管理流程，并通过 OTA、配置复用与版本回滚支持持续更新。本文结合实际场景，解读资源、实例、缓存与流量如何协同，让部署、性能验证与日常运营形成完整链路。
2026-10-27 09:48:20
189
原创 DeepInfer 能否跑赢 vLLM？GPUStack 八卡 B200 实测结果来了
本文介绍通过DeepInfer-server将DeepInfer接入GPUStack，在单机八卡B200上部署DeepSeek-V4.1-Flash，并与vLLM进行同硬件、相近并行策略的性能对比。本轮16并发测试中，DeepInfer平均输出吞吐高约25.2%，但首token延迟和P95请求延迟更高。文章涵盖服务封装、自定义后端部署与测试方法，为推理引擎选型提供参考，结果不代表双方性能上限。
2026-10-22 10:34:22
317
原创 从 24 到 51 tok/s：用 GPUStack 调优 4 台 DGX Spark 上的 GLM 推理
不换硬件，推理速度还能翻倍？本文记录用GPUStack管理4台DGX Spark、运行GLM的调优过程，涵盖网络优化、MTP投机解码适配与多节点排障。实测单流解码速度从24.3提升至51.3 tok/s，并发吞吐同步提升，为小规模推理集群提供参考。
2026-10-21 18:14:07
342
原创 两张老 V100 还能做什么？用 GPUStack 跑通 Qwen-Image-2.1，LoRA + RGBA + Skills 全过
两张老 V100 如何跑通 Qwen-Image-2.1？本文分享基于 GPUStack 的部署实践，通过双卡分段加载、自定义推理后端和 FP16 配置，实现文生图、图像编辑、RGBA 透明图及 LoRA 加载，并接入 Skills 完成一句话出图，梳理老卡复用的关键步骤、常见坑点与适用边界。
2026-10-20 17:21:34
181
原创 别急着买 5090！显存危机下，GPUStack 让 4500 块的 V100 跑起新模型
本文介绍利用二手V100显卡低成本部署大模型的方案。针对显存不足、缺少FP8计算单元及标准vLLM兼容性差等问题，1Cat-vLLM通过专用内核与动态反量化降低显存需求，再封装容器接入GPUStack，实现统一部署、监控及API服务。双卡运行Qwen3.8-27B-FP8的实测表明，低并发交互较流畅，高并发适合离线批处理，但排队与长尾延迟明显。方案为预算有限的团队提供选择，体现软件优化延长旧硬件使用价值。
2026-10-15 17:50:36
283
原创 基于海光的 GPUStack 部署方案指导——以 Qwen3.6-27B 为例
本文以Qwen3.6-27B为例，介绍在海光BW1000八卡服务器上使用GPUStack部署大模型的完整流程，涵盖节点接入、自定义vLLM与DTK后端配置、本地模型部署、对话及API调用和性能测试。模型采用FP16八卡张量并行，实测8个请求全部成功，平均输出吞吐量为99.8 Tokens/s，并总结环境适配、模型完整性、首次初始化及基准测试注意事项，为部署复现提供参考。
2026-10-14 10:17:34
381
1
原创 GPUStack × Jev：决策路由的机制、配置与验证
生成模型负责回答问题决策模型负责为选择提供依据。例如，同样是一次对话请求，“把 Good morning 翻译成中文”和“设计一个跨地域支付系统”需要的能力不同。前者可以交给较小的模型，后者可能需要更强的模型来分析故障与一致性问题。Jev 接收请求内容、候选模型及其能力说明，通过TypeSafe Choice 接口返回结构化的选择依据。GPUStack 网关据此完成模型选择，再把请求转发给相应的生成服务。最终回答仍由 Qwen3 或 DeepSeek 生成。
2026-10-12 18:17:18
99
原创 GPUStack 完成 5000 万元 Pre-A 轮融资，加速国产算力适配与产业落地
GPUStack 完成 5000 万元 Pre-A 轮融资，由水华未来领投、GRC 富华资本跟投。本轮资金将用于产品研发、国产算力适配与推理优化，加速企业应用落地及国内外市场拓展。
2026-10-09 10:21:38
51
原创 一张 A800 80GB，跑通 Qwen-Image-2.1：GPUStack 部署、生成与图像编辑实战
本文基于 NVIDIA A800 80GB 和 GPUStack，实测部署 Qwen-Image-2.1，介绍 vLLM-Omni 后端配置，以及文生图、多图编辑、透明图生成的调用方法，并提供 OpenAI 兼容接口示例。
2026-10-08 16:06:10
376
原创 GPUStack 实战：一行配置开启 DeepSeek-V4.1 DSpark，JSON 吞吐提升 3.8 倍
DeepSeek-V4.1 原生支持 DSpark 投机解码，但不同任务的加速收益差异显著。本文基于 GPUStack 和 4 张 H200，实测 JSON、代码、散文、长上下文及并发场景，分析草稿接受率、吞吐与显存代价，并给出可直接复用的配置方法、验证指标、避坑建议和回滚流程。
2026-09-23 15:50:00
329
原创 GPUStack 部署实战：8 卡 H20 跑通 GLM-5.3-Flash，解锁 512K 长上下文与多模态
本文实测使用 GPUStack 在 8 张 H20 上部署 320B 参数的 GLM-5.3-Flash，完整介绍专用 vLLM 镜像、后端配置与避坑要点，并验证多模态及 512K 长上下文能力。基准测试总吞吐量达 7907.54 Tokens/s，为企业构建私有化多模态 Agent 服务提供参考。
2026-09-15 10:27:21
306
原创 DeepSeek-V4-Flash-Vision-Exp 部署实战：用 GPUStack 搭建多模态 Agent 服务
DeepSeek-V4-Flash-Vision-Exp 正式开源，多模态 Agent 能力进一步升级。本文基于 4 卡 H20-96G 环境，实测如何通过 GPUStack 完成模型部署，并验证图像理解、工具调用及推理性能，带你快速跑通 DeepSeek V4 首个多模态版本。
2026-09-10 10:51:19
271
原创 9 月 2 日，相聚北京｜GPUStack AI Infra 生态与技术创新峰会，邀您参加
GPUStack 开源以来首次大型线下峰会，汇聚 AI 基础设施领域技术专家与生态伙伴，围绕 大模型平台、Token 服务平台、GPU 算力平台建设与实践，分享一线企业落地经验，共探 AI Infra 未来发展趋势。
2026-08-24 18:02:48
196
原创 GPUStack 部署 DeepSeek-V4-Flash-0731 双平台实测：H20 单并发 600+ TPS，昇腾 910B 表现如何？
本文实测 GPUStack 在 H20 与昇腾 910B 上部署 DeepSeek-V4-Flash-0731，解析 DSpark 加速、长上下文性能及生产配置建议。
2026-08-06 11:19:59
1324
原创 GPUStack × TileRT × B300：GLM-5.1 高速版复现，解码吞吐 500+ TPS
本文以单台 8×B300 服务器为例，演示如何在 GPUStack 中接入 TileRT 定制 vLLM 后端，完成 GLM-5.1 的 Prefill / Decode（PD）分离部署、路由配置与性能验证。
2026-08-04 17:42:15
320
原创 GPUStack Day 0 支持 Kimi-K3：8×B300 上 vLLM 与 SGLang 推理实测
本文记录 Kimi-K3 在单机 8×NVIDIA B300 环境中的部署与压测过程，并对 vLLM、SGLang 两套推理引擎在 64K 与 200K 长上下文场景下的表现进行拆解。
2026-07-30 15:22:20
435
原创 怎么优雅的在GPUStack上使用minerU?
本文由 GPUStack 社区用户投稿整理，介绍如何将 MinerU Fast API 接入 GPUStack，通过自定义推理后端实现复杂 PDF 解析服务的部署与调用。
2026-07-24 18:15:46
226
原创 Day 0 实测｜在 GPUStack 上部署 Inkling-BF16：8 卡 H20-141G 推理性能测试
本文由 GPUStack 社区用户实测分享整理。社区用户基于 8 卡 H20-141G 环境，通过 GPUStack 完成 Inkling 多模态大模型部署，并测试其文本推理、多模态能力及长上下文场景下的性能表现。
2026-07-21 11:13:21
167
原创 Day 0 实测｜在 GPUStack 上部署 GLM-5.2-FP8-DSpark
本文由 GPUStack 社区用户实测分享整理。GLM-5.2-FP8-DSpark 是在 GLM-5.2-FP8 基础上，通过挂载 RedHatAI 提供的外置草稿模型（Speculator）做投机解码（Speculative Decoding）的增强方案——同一份主模型权重，额外加载一个草稿模型，用来提升解码吞吐。社区用户在模型放出当天（Day 0）就在 8 卡 H20-141G 环境上，通过 GPUStack 完成了部署，并和原生 GLM-5.2-FP8 做了同硬件对比压测。
2026-07-14 23:05:28
395
原创 你的 GPU 算力，到底被谁、用在了哪儿？GPUStack 用量统计上线，一张图说清楚
GPUStack 全新的 用量统计（Usage） 功能正式上线了——Token 消耗、GPU/CPU 实例运行时长、存储容量占用，三类资源的消耗一目了然。谁在用、用了多少、花在了哪个模型上，再也不用靠猜。
2026-07-07 11:23:44
358
原创 Day 0 实测｜在 GPUStack 上部署 DeepSeek-V4-Flash-DSpark，吞吐直接翻倍
本文由 GPUStack 社区用户实测分享整理。DeepSeek-V4-Flash-DSpark 是在 DeepSeek-V4-Flash 基础上挂载了投机解码（Speculative Decoding）模块的增强版本——同一份权重，额外的投机模块，让吞吐和首 Token 时延同时变好。社区用户拿到模型当天（Day 0）就在的环境上，通过 GPUStack 完成了部署和压测，并和原生 DeepSeek-V4-Flash（DSV4F）做了同参数对比。下面是完整的部署与实测过程。
2026-07-02 15:25:16
593
原创 MiniMax-M3 开源实测：部署、推理与基准测试全记录
MiniMax-M3 是 MiniMax 最新开源的原生多模态大模型，约428B 总参数/23B激活参数，原生支持1M上下文。本文基于 GPUStack 与VLLM，演示从镜像与权重准备、模型部署、对话实测到基准测试的完整流程，并实测了基于 EAGLE3 的投机解码加速。
2026-06-18 10:15:33
1083
原创 没有 GPU，还能跑大模型吗？vLLM vs llama.cpp 实测对比
本文对比测试了vLLM-CPU和llama.cpp在纯CPU环境下运行大模型的性能表现。测试环境使用4vCPU+16GB内存的服务器，分别部署MiniCPM5-1B模型进行验证。
2026-06-01 11:59:51
511
原创 NVIDIA H200/H20 DeepSeek-V4-Pro 部署指南、压测性能与稳定性调优建议
NVIDIA H200/H20 141GB 环境部署 DeepSeek-V4-Pro 的实践教程、压测性能表现，以及针对压测表现提供的稳定性配置建议。
2026-04-28 10:05:19
2155
原创 27B 超越 397B，Qwen3.6 模型 vLLM vs SGLang 部署指南与性能表现
vLLM 和 SGLang 对 Qwen3.6-27B 的完整部署测试教程与性能测试表现
2026-04-23 18:07:08
1823
原创 Ascend 910B 多机分布式部署 Qwen3.5-397B-A17B
多节点 Data Parallel 部署可基于各节点负载动态分发请求，减少长请求阻塞带来的性能抖动，在高并发场景下提升整体吞吐稳定性。
2026-04-21 14:24:02
883
原创 在沐曦 C500 上使用 GPUStack 高效管理 vLLM 和 SGLang 推理服务与生产化运维
GPUStack 支持接入官方及自定义推理镜像，以满足不同版本的 vLLM 和 SGLang 后端部署需求。以下示例展示如何在沐曦 GPU 上接入官方镜像并部署自定义版本模型。在 GPUStack 控制台中进入推理后端 → vLLM，编辑后端并添加新版本，使用沐曦官方 vLLM 镜像：参数示例版本0.15.0镜像框架MACA镜像入口命令执行命令⚠️ 注意：使用相应镜像前，需要先在沐曦开发者社区获取下载链接（），并提前将镜像下载到本地。在ModelScope。
2026-04-15 09:40:10
758
原创 vLLM 新参数 performance-mode 能带来多大提升？Qwen3.5 实测告诉你答案
本文基于 Qwen3.5 在 H100/H200 上的实测，分析 vLLM performance-mode 的实际作用。结果表明，它并非独立提速手段，而是结合量化、cache 等优化，用于收敛低延迟或高吞吐目标，主要价值在于缩小调优范围。
2026-04-08 14:08:14
551
原创 挑战 Qwen 3.5：Gemma 4 私有部署与文本、图像、视频、音频处理及思考模式、工具调用全教程
GPUStack 支持可插拔的推理引擎架构，允许自定义推理后端及其版本，用于引入 GPUStack 未内置的 vLLM / SGLang / MindIE 版本，或接入其他自定义推理引擎镜像。以 vLLM 最新发布的v0.19.0和 SGLang 最新发布的v0.5.10为例。vLLM在推理后端菜单，编辑 vLLM，在版本配置中选择添加版本配置值版本0.19.0镜像名称框架CUDA覆盖镜像入口命令（ENTRYPOINT）vllm serve执行命令SGLang在推理后端。
2026-04-07 10:20:12
1347
原创 vLLM Ascend 是最优解吗？基于 mis-tei 实现昇腾上的高性能 Embedding/Reranker 模型推理
的方式接入 mis-tei。
2026-04-01 09:53:32
790
原创 倒计时 1 天！北京 SGLang Meetup，一场关于 AI Infra 的深度对话
本次 GPUStack、OpenBMB 和 SGLang 社区联合举办的线下 Meetup，我们将围绕展开分享，重点探讨与等核心痛点，深入解析如何。同时，本次 Meetup 还将带来多项前沿实践与进展，包括，以及，共同推动大模型落地与性能优化的持续演进。欢迎各位伙伴报名参与，期待与你现场交流！
2026-03-27 11:14:08
217
原创 邀你赴约｜本周六北京 SGLang Meetup，一场关于 AI Infra 的深度对话
摘要：GPUStack、OpenBMB和SGLang社区联合举办线下Meetup，聚焦大模型部署中的异构GPU管理与推理效率优化等核心挑战。活动将分享下一代稀疏注意力系统设计、SGLang最新路线图、NVFP4混合精度量化等前沿实践，探讨构建企业级统一模型服务平台。会议旨在推动大模型落地与性能优化，欢迎AI基础设施领域的从业者参与交流。社区持续分享AI Infra相关部署经验与案例
2026-03-25 10:29:40
79
原创 3.28 北京 Meetup，与 GPUStack、SGLang、MiniCPM 核心成员一起深度对话 AI Infra
本次线下Meetup聚焦大模型部署关键挑战，重点探讨异构GPU管理与推理效率优化，分享构建统一模型服务平台的前沿实践。会议内容包括稀疏注意力系统设计、SGLang路线图及NVFP4混合精度量化等创新技术，旨在推动大模型落地与性能优化。活动由GPUStack、OpenBMB和SGLang社区联合举办，欢迎关注AI基础设施的从业者参与交流，共同促进AI Infra领域发展。
2026-03-20 15:02:07
78
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人