<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[GPUStack的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/GPUStack</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; GPUStack]]></copyright><item><title><![CDATA[大模型实战｜实测：8 卡平头哥 ZW610E，在 GPUStack 上跑通大模]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/170138609</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/170138609</guid><author>GPUStack</author><pubDate>Thu, 05 Nov 2026 14:10:10 +0800</pubDate><description><![CDATA[文章记录8卡平头哥ZW610E一体机通过GPUStack与vLLM部署Qwen3-14B、32B及Embedding-8B的全过程，涵盖镜像离线搬运、存储迁移、多卡通信和模型路由等问题。实测32B四卡短文本峰值吞吐1966 tok/s，14B单卡1223 tok/s；短问答侧重14B每卡效率，长文档与RAG侧重32B。文中结合延迟指标给出运营并发建议，并说明仍需补测的场景。]]></description><category></category></item><item><title><![CDATA[官方说不支持？但我还是用 GPUStack 在 DGX Spark 上跑通了 Qwen-Image-2.1]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/169943501</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/169943501</guid><author>GPUStack</author><pubDate>Tue, 03 Nov 2026 15:01:57 +0800</pubDate><description><![CDATA[官方文档写着ARM不支持，DGX Spark就真跑不了？本文从实测出发，记录Qwen-Image-2.1的镜像构建、依赖保护、网络排障与GPUStack接入过程，验证文生图、图改图、原生透明底及LoRA加载链路。无需更换硬件或升级驱动，即可通过统一API提供图像服务，1024×1024文生图实测49秒，并说明性能与验证边界。]]></description><category></category></item><item><title><![CDATA[8×Tesla T10 跑通 GPUStack：SM75 完整部署实战]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/169548692</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/169548692</guid><author>GPUStack</author><pubDate>Fri, 30 Oct 2026 11:46:54 +0800</pubDate><description><![CDATA[本文基于八张Tesla T10显卡，完整介绍SM75架构下GPUStack与定制vLLM后端的部署实践。从环境检查、镜像构建、服务与工作节点配置，到量化模型上线，逐步讲解八卡并行、显存申报、图像输入及编译缓存等关键设置。同时涵盖控制面板、Ultra工作台、BenchLocal校验器、吞吐测速与雷达图评测，并提供多用户API接入、验收步骤和常见故障排查方法，帮助读者完成从部署到验证的全流程。]]></description><category></category></item><item><title><![CDATA[8 张 A100 跑通 DeepSeek-V4.1-Flash-1017：能跑多快，代价多大？]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/169439258</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/169439258</guid><author>GPUStack</author><pubDate>Thu, 29 Oct 2026 10:04:56 +0800</pubDate><description><![CDATA[本文记录通过 GPUStack 与 vllm-backport，在单机 8 张 A100 上部署 DeepSeek-V4.1-Flash-1017 的完整实践，解析低精度权重兼容、显存分配与百万上下文支持。五组压测显示，单流输出达 129 token/s，长输出吞吐达 1,537 token/s，同时揭示高并发延迟、缓存容量与参数调优之间的取舍。]]></description><category></category></item><item><title><![CDATA[GPUStack v2.3：PD 分离、共享缓存、vGPU 与弹性调度背后的系统化推理工程]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/169240737</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/169240737</guid><author>GPUStack</author><pubDate>Tue, 27 Oct 2026 09:48:20 +0800</pubDate><description><![CDATA[推理优化如何落地为可持续运营的模型服务？GPUStack v2.3 将自动 PD 分离编排、共享 KV Cache、vGPU 切分、智能压测与定时伸缩纳入统一管理流程，并通过 OTA、配置复用与版本回滚支持持续更新。本文结合实际场景，解读资源、实例、缓存与流量如何协同，让部署、性能验证与日常运营形成完整链路。]]></description><category></category></item><item><title><![CDATA[DeepInfer 能否跑赢 vLLM？GPUStack 八卡 B200 实测结果来了]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/168748457</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/168748457</guid><author>GPUStack</author><pubDate>Thu, 22 Oct 2026 10:34:22 +0800</pubDate><description><![CDATA[本文介绍通过DeepInfer-server将DeepInfer接入GPUStack，在单机八卡B200上部署DeepSeek-V4.1-Flash，并与vLLM进行同硬件、相近并行策略的性能对比。本轮16并发测试中，DeepInfer平均输出吞吐高约25.2%，但首token延迟和P95请求延迟更高。文章涵盖服务封装、自定义后端部署与测试方法，为推理引擎选型提供参考，结果不代表双方性能上限。]]></description><category></category></item><item><title><![CDATA[从 24 到 51 tok/s：用 GPUStack 调优 4 台 DGX Spark 上的 GLM 推理]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/168659586</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/168659586</guid><author>GPUStack</author><pubDate>Wed, 21 Oct 2026 18:14:07 +0800</pubDate><description><![CDATA[不换硬件，推理速度还能翻倍？本文记录用GPUStack管理4台DGX Spark、运行GLM的调优过程，涵盖网络优化、MTP投机解码适配与多节点排障。实测单流解码速度从24.3提升至51.3 tok/s，并发吞吐同步提升，为小规模推理集群提供参考。]]></description><category></category></item><item><title><![CDATA[两张老 V100 还能做什么？用 GPUStack 跑通 Qwen-Image-2.1，LoRA + RGBA + Skills 全过]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/168557012</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/168557012</guid><author>GPUStack</author><pubDate>Tue, 20 Oct 2026 17:21:34 +0800</pubDate><description><![CDATA[两张老 V100 如何跑通 Qwen-Image-2.1？本文分享基于 GPUStack 的部署实践，通过双卡分段加载、自定义推理后端和 FP16 配置，实现文生图、图像编辑、RGBA 透明图及 LoRA 加载，并接入 Skills 完成一句话出图，梳理老卡复用的关键步骤、常见坑点与适用边界。]]></description><category></category></item><item><title><![CDATA[别急着买 5090！显存危机下，GPUStack 让 4500 块的 V100 跑起新模型]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/168027311</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/168027311</guid><author>GPUStack</author><pubDate>Thu, 15 Oct 2026 17:50:36 +0800</pubDate><description><![CDATA[本文介绍利用二手V100显卡低成本部署大模型的方案。针对显存不足、缺少FP8计算单元及标准vLLM兼容性差等问题，1Cat-vLLM通过专用内核与动态反量化降低显存需求，再封装容器接入GPUStack，实现统一部署、监控及API服务。双卡运行Qwen3.8-27B-FP8的实测表明，低并发交互较流畅，高并发适合离线批处理，但排队与长尾延迟明显。方案为预算有限的团队提供选择，体现软件优化延长旧硬件使用价值。]]></description><category></category></item><item><title><![CDATA[基于海光的 GPUStack 部署方案指导——以 Qwen3.6-27B 为例]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/167892357</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/167892357</guid><author>GPUStack</author><pubDate>Wed, 14 Oct 2026 10:17:34 +0800</pubDate><description><![CDATA[本文以Qwen3.6-27B为例，介绍在海光BW1000八卡服务器上使用GPUStack部署大模型的完整流程，涵盖节点接入、自定义vLLM与DTK后端配置、本地模型部署、对话及API调用和性能测试。模型采用FP16八卡张量并行，实测8个请求全部成功，平均输出吞吐量为99.8 Tokens/s，并总结环境适配、模型完整性、首次初始化及基准测试注意事项，为部署复现提供参考。]]></description><category></category></item><item><title><![CDATA[GPUStack × Jev：决策路由的机制、配置与验证]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/167700586</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/167700586</guid><author>GPUStack</author><pubDate>Mon, 12 Oct 2026 18:17:18 +0800</pubDate><description><![CDATA[生成模型负责回答问题决策模型负责为选择提供依据。例如，同样是一次对话请求，“把 Good morning 翻译成中文”和“设计一个跨地域支付系统”需要的能力不同。前者可以交给较小的模型，后者可能需要更强的模型来分析故障与一致性问题。Jev 接收请求内容、候选模型及其能力说明，通过TypeSafe Choice 接口返回结构化的选择依据。GPUStack 网关据此完成模型选择，再把请求转发给相应的生成服务。最终回答仍由 Qwen3 或 DeepSeek 生成。]]></description><category></category></item><item><title><![CDATA[GPUStack 完成 5000 万元 Pre-A 轮融资，加速国产算力适配与产业落地]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/167365431</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/167365431</guid><author>GPUStack</author><pubDate>Fri, 09 Oct 2026 10:21:38 +0800</pubDate><description><![CDATA[GPUStack 完成 5000 万元 Pre-A 轮融资，由水华未来领投、GRC 富华资本跟投。本轮资金将用于产品研发、国产算力适配与推理优化，加速企业应用落地及国内外市场拓展。]]></description><category></category></item><item><title><![CDATA[一张 A800 80GB，跑通 Qwen-Image-2.1：GPUStack 部署、生成与图像编辑实战]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/167276983</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/167276983</guid><author>GPUStack</author><pubDate>Thu, 08 Oct 2026 16:06:10 +0800</pubDate><description><![CDATA[本文基于 NVIDIA A800 80GB 和 GPUStack，实测部署 Qwen-Image-2.1，介绍 vLLM-Omni 后端配置，以及文生图、多图编辑、透明图生成的调用方法，并提供 OpenAI 兼容接口示例。]]></description><category></category></item><item><title><![CDATA[GPUStack 实战：一行配置开启 DeepSeek-V4.1 DSpark，JSON 吞吐提升 3.8 倍]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/166485806</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/166485806</guid><author>GPUStack</author><pubDate>Wed, 23 Sep 2026 15:50:00 +0800</pubDate><description><![CDATA[DeepSeek-V4.1 原生支持 DSpark 投机解码，但不同任务的加速收益差异显著。本文基于 GPUStack 和 4 张 H200，实测 JSON、代码、散文、长上下文及并发场景，分析草稿接受率、吞吐与显存代价，并给出可直接复用的配置方法、验证指标、避坑建议和回滚流程。]]></description><category></category></item><item><title><![CDATA[GPUStack 部署实战：8 卡 H20 跑通 GLM-5.3-Flash，解锁 512K 长上下文与多模态]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/165444214</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/165444214</guid><author>GPUStack</author><pubDate>Tue, 15 Sep 2026 10:27:21 +0800</pubDate><description><![CDATA[本文实测使用 GPUStack 在 8 张 H20 上部署 320B 参数的 GLM-5.3-Flash，完整介绍专用 vLLM 镜像、后端配置与避坑要点，并验证多模态及 512K 长上下文能力。基准测试总吞吐量达 7907.54 Tokens/s，为企业构建私有化多模态 Agent 服务提供参考。]]></description><category></category></item><item><title><![CDATA[DeepSeek-V4-Flash-Vision-Exp 部署实战：用 GPUStack 搭建多模态 Agent 服务]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/164815732</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/164815732</guid><author>GPUStack</author><pubDate>Thu, 10 Sep 2026 10:51:19 +0800</pubDate><description><![CDATA[DeepSeek-V4-Flash-Vision-Exp 正式开源，多模态 Agent 能力进一步升级。本文基于 4 卡 H20-96G 环境，实测如何通过 GPUStack 完成模型部署，并验证图像理解、工具调用及推理性能，带你快速跑通 DeepSeek V4 首个多模态版本。]]></description><category></category></item><item><title><![CDATA[9 月 2 日，相聚北京｜GPUStack AI Infra 生态与技术创新峰会，邀您参加]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/164029580</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/164029580</guid><author>GPUStack</author><pubDate>Mon, 24 Aug 2026 18:02:48 +0800</pubDate><description><![CDATA[GPUStack 开源以来首次大型线下峰会，汇聚 AI 基础设施领域技术专家与生态伙伴，围绕 大模型平台、Token 服务平台、GPU 算力平台建设与实践，分享一线企业落地经验，共探 AI Infra 未来发展趋势。]]></description><category></category></item><item><title><![CDATA[GPUStack 部署 DeepSeek-V4-Flash-0731 双平台实测：H20 单并发 600+ TPS，昇腾 910B 表现如何？]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/163529341</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/163529341</guid><author>GPUStack</author><pubDate>Thu, 06 Aug 2026 11:19:59 +0800</pubDate><description><![CDATA[本文实测 GPUStack 在 H20 与昇腾 910B 上部署 DeepSeek-V4-Flash-0731，解析 DSpark 加速、长上下文性能及生产配置建议。]]></description><category></category></item><item><title><![CDATA[GPUStack × TileRT × B300：GLM-5.1 高速版复现，解码吞吐 500+ TPS]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/163478923</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/163478923</guid><author>GPUStack</author><pubDate>Tue, 04 Aug 2026 17:42:15 +0800</pubDate><description><![CDATA[本文以单台 8×B300 服务器为例，演示如何在 GPUStack 中接入 TileRT 定制 vLLM 后端，完成 GLM-5.1 的 Prefill / Decode（PD）分离部署、路由配置与性能验证。]]></description><category></category></item><item><title><![CDATA[GPUStack Day 0 支持 Kimi-K3：8×B300 上 vLLM 与 SGLang 推理实测]]></title><link>https://blog.youkuaiyun.com/GPUStack/article/details/163332821</link><guid>https://blog.youkuaiyun.com/GPUStack/article/details/163332821</guid><author>GPUStack</author><pubDate>Thu, 30 Jul 2026 15:22:20 +0800</pubDate><description><![CDATA[本文记录 Kimi-K3 在单机 8×NVIDIA B300 环境中的部署与压测过程，并对 vLLM、SGLang 两套推理引擎在 64K 与 200K 长上下文场景下的表现进行拆解。]]></description><category></category></item></channel></rss>