别急着买 5090！显存危机下，GPUStack 让 4500 块的 V100 跑起新模型

RTX 5090 新卡 4 万起步，随着 RTX 5090 32G 魔改 96G，导致大量卡被扫货，后续黄牛还在往上加价；停产已久的二手 4090 都要 2 万以上；数据中心里的 H100，一张二手都要 17 万起步，够在小城市付个首付。

这轮“显存危机”有多疯？DRAM 短缺导致，N 卡系列数据中心级、消费级普涨 20%～50% 之后，据说还要再涨 30%。模型倒是越出越大：27B、72B、671B，一个月一个新版本。显存不够，什么都白搭。

一边是买不起的新卡，一边是装不下的大模型——2026 年的算力焦虑，就是这么拧巴。

但我的答案是：一张 2017 年上市的显卡，2 张二手加起来 9800～15000 元，跑起了 2026 年 8 月刚开源的最新模型。

先别急着划走，看完价格对比，你再决定信不信。

一、显存危机里，被遗忘的价格洼地

先看一张表（2026 年 9 月中旬行情，淘宝/闲鱼随手可查）：

显卡	显存	参考价	每 GB 成本
RTX 5090 新卡	32GB	2.8～4.9 万元	≈1000～1500 元
RTX 4090 二手	24GB	1.6～1.8 万元	≈700 元
H100 二手	80GB	13～16 万元	≈1600～2000 元
V100 32G 二手	32GB	3700～5800 元	≈120～180 元

同样 32GB 显存：5090 花 4 万上下，V100 花 4000～5000 上下——不到十分之一的钱。

有人会说：V100 是老古董，算力跟 5090 差着十万八千里。 对，但你看错了赛道。跑大模型推理，吃的不是算力，是显存容量和显存带宽。

1. V100 是 2017 年的数据中心旗舰卡，Volta 架构，32GB HBM2 高带宽显存，单卡显存带宽 900GB/s——这个带宽到今天依然是同价位天花板（SXM2 版还带 NVLink 300GB/s 互联，两张卡之间数据搬运几乎不卡脖子）。
2. decode 阶段每生成一个 token 都要把全部权重从显存读一遍，单卡带宽直接决定吐字速度（双卡张量并行时，权重被拆到两张卡上，各自用各自的带宽，总吞吐接近两卡之和，但每 token 延迟仍受单卡带宽约束）。
3. 两张 V100 就是 64GB 总显存——单卡 32G 装不下 27B FP8 权重（约 29GB）却容不下长上下文，双卡才能让 KV cache 从容展开。

买新卡 = 为单卡算力付钱；淘 V100 = 为显存容量付钱。而 LLM 推理恰恰是容量敏感型，这笔账怎么算都划算。

⚠️ 提醒一句：V100 32G 现在也在被“显存危机”抬价——2026 年 3 月下单还能 2200 块，如今最低也要 3700 了。要上车趁早，而且务必挑成色好、有保修的、能验证 ECC 的，别图便宜买到维修过的翻新卡。同时如果采用 SMX2 接口的话需专门的底板，最好买一整套搞好的，到货拆箱就用。

还有一点就是：V100 没有显示输出，需要一张亮机卡；被动散热需要机箱风道；二手没保修。 但跟 3 万块的差价比，这些麻烦不值一提。推荐使用水冷的，很静音，风扇得上那种暴力 1 万转的暴力风扇才压得住，当然噪音相当哇塞。

便宜是真便宜，可要是软件跑不起来，也是一堆废铁。真正的坑，在软件。

二、为什么别人跑不起来：三座大山

V100 便宜了这么久，为什么没多少人拿它跑新模型？因为横着三座大山：

第一座：模型装不下。 最新开源的 Qwen3.8-27B，官方 BF16 权重约 54GB，单张 V100 放不下，双卡勉强但 KV cache 一拉长就爆。

第二座：FP8 是“假希望”。 官方还提供了 FP8 量化版，权重约 29GB，省了一半显存。听起来完美？但 V100 是 SM 7.0 架构，根本没有 FP8 张量核——FP8 是 H100/Ada 时代的东西。你就算把 FP8 权重下载下来，标准推理框架也会悄悄把它反量化回 BF16，显存照旧 54GB，OOM 照旧。

第三座：标准 vLLM 不支持老卡。 就算显存装下了，标准 vLLM 对 SM70 的支持极差，很多 kernel 直接报错，或者慢到没法用。

三座大山一叠加，结论就变成了：V100 跑不了新模型。这就是为什么大家都在说“老卡该死”。

但这句话，只说对了一半。

三、破局：1Cat-vLLM，给老卡写的专属引擎

破局的关键，是一个叫 1Cat-vLLM 的开源项目——面向 SM70/V100 专门做的 vLLM 工程分支，2026 年 9 月初刚发布 v1.5.0（这也是目前最新的稳定版）。

项目地址：https://github.com/1CatAI/1Cat-vLLM

它的核心思路就一条：既然硬件没有 FP8 计算单元，那就用软件把它“翻译”出来。

具体说，它把 TurboMind 派生的 SM70 内核移植进了 vLLM：FP8 权重保持压缩状态从显存读取，在 GEMM 计算前做 W8A16 反量化（8bit 权重实时解回 16bit 参与运算），而不是把整个模型先解回 BF16。

打个比方：FP8 权重像一本“速记版”的书，V100 读的时候现场翻译成正常文字——翻译器写得好，翻得又快又准。

v1.5.0 的干货（官方 release 数据，V100 四卡/双卡实测）：

1. 显存减半： FP8 权重约 29GB（BF16 是 54GB），省下的显存全给 KV cache。
2. 速度反升： decode 是带宽受限任务，权重体积减半 = 每个 token 要搬运的数据减半，该快的那 1.7 倍是物理应得的。
3. Qwen3.8-27B 全 NVFP4（QUASAR）： 128K 上下文解码 61.8 tok/s，256K 也有 50.4 tok/s；32K 预填充约 4000+ tok/s。
4. 原生 MTP 投机解码： Qwen3.8 Flash-Next 开 MTP4 后纯解码 138 tok/s（不开约 81 tok/s），提速 70%——Qwen3.8 自带 MTP 模块，不需要另配草稿模型。
5. 长上下文是主场： E4M3 XQA 路由在 128K 提升 52%、256K 提升 83%；长预填充 GQA 打包到约 60.8 TFLOP/s。
6. 支持的模型： Qwen3.8/3.6 系列、GLM-5.3-Flash、DeepSeek-V4-Flash、多模态 DeepSeek-OCR 等，量化路径覆盖 AWQ / FP8 / NVFP4。

安装也简单：release 页直接下载预编译 wheel（1cat_vllm-*.whl，Python 3.12 + CUDA 12.8 + Torch 2.10），不用自己啃源码。

方案成立，但还差“最后一公里”——1Cat-vLLM 官方只给 wheel，没有现成的 Docker 镜像。而我们的管理平台 GPUStack，只认标准容器镜像。怎么把它装进去？

四、最后一公里：造一个能跑的镜像

1Cat-vLLM 没有官方 Docker 镜像，标准 vLLM 镜像又跑不了 SM70，所以这一步只能自己来。

核心就三件事：

1. 基础镜像： Ubuntu 24.04 + CUDA 12.8（必须 12.8，PyTorch cu128 的运行时，版本错一点编译就挂）。
2. 装 wheel： 从 1Cat-vLLM 的 release 页下载预编译好的 1cat_vllm-*.whl，里面已经捆绑了 flash_attn_v100 扩展，不用自己啃源码编译（Python 3.12 + Torch 2.10）。
3. 验证 + 入口： python -c "import torch, vllm, flash_attn_v100" 全绿，入口直接指向 vllm serve。

踩坑也如实说：国内网络拉镜像超时（换个源）；wheel 装完 import 报错（必须离开源码目录运行，否则 import 到本地源码树）；CUDA 版本不匹配编译直接崩（老老实实 12.8）。

镜像造好了，接下来问题来了——GPUStack 认这个“野路子”镜像吗？

五、GPUStack 自定义推理后端：野路子镜像，平台认

这就是本文最值钱的部分。

先说 GPUStack 是什么：开源 GPU 集群管理平台。把你的各种卡（NVIDIA/AMD/昇腾/摩尔线程都行）聚合成一个资源池，在上面部署模型、发 API Key、看监控、做负载均衡。推理引擎支持 vLLM、SGLang、llama.cpp 等，对外提供 OpenAI 兼容的 API——你现有的应用不用改一行代码。

将 V100 的驱动在 Linux 打好，将节点添加到 GPUStack。

但关键是它有个杀手级能力：自定义推理后端。 内置的 vLLM/SGLang 只是默认项，你完全可以把自己的镜像注册成一个新的“vLLM 版本”，调度器就把它当标准后端用。

点保存，GPUStack 自动拉镜像、启实例。状态变绿、Running——一个跑着 Qwen3.8-27B 最新模型的 OpenAI 兼容 API 端点，就这么上线了。

六、实测：数字不会说谎

部署完成后，验证三步走：

1. 健康检查： GPUStack 面板，模型状态 Running，副本 1/1，两张卡利用率、显存、温度全在监控面板上。

   

2. 压测数据（双 V100 32G，Qwen3.8-27B-FP8，TP=2）：

   指标	结果
   权重显存	28.75GB
   双卡显存占用	约 60.8GB，KV cache 相对充裕
   吞吐实测	在平均并发 389 的吞吐测试中，Qwen3.8-27B-FP8 对 1000 个请求全部处理成功（成功率 100%），总吞吐达 1193.61 tokens/s（输出吞吐 126.9 tokens/s），且延迟分布稳定
   延时实测	共发起请求 100 个，平均并发数 5，单请求输入 180 token、输出 128 token，中位 TTFT 为 353.73 ms，中位 TPOT 为 26.57 ms，常规请求性能稳定；但长尾延迟显著劣化，P99 TTFT 达 10917.5 ms、P99 端到端延迟达 18.19 s，约为中位值的 5 倍，表明高负载下的请求排队与调度开销构成长尾延迟的主要瓶颈。

   结论： 在 2×V100（SXM2，32GB）环境下部署 Qwen3.8-27B-FP8，延时与吞吐测试的请求成功率均为 100%。低并发（并发 5）时，P50 首 Token 延迟 354ms、单请求生成 26～38 tokens/s、端到端 P50 仅 3.4s，交互体验流畅，适合企业内部问答、办公助手等低并发实时应用；当并发提升到 389，系统总吞吐达 1193.61 tokens/s（输出吞吐 126.9 tokens/s），约 17 分钟跑完 1000 个任务，但单请求速度回落至约 0.33 tokens/s，排队 TTFT 长达数十分钟，更适合文档摘要、数据标注、内容审核等时延不敏感的离线批处理。一句话总结就是：非常适合小团队、小并发的场景。

3. 实际应用——接入 WorkBuddy：

   

   将其接入到 WorkBuddy，编码效果像那么回事。

写在最后：2026 年，该换思路了

回到开头那句话：一边是买不起的新卡，一边是装不下的大模型。

现在你可以有个新答案：2026 年不是“换不起卡”，是“不该换卡”。

1. 买新卡：一张 5090 ≈ 3 万上下，显存 32GB。
2. 淘老卡：两张 V100 ≈ 8000～11000 元（含转接板/散热/亮机卡等落地成本），显存 64GB，还能跑最新开源模型。

省下的 2 万多，够把这套方案再迭代三年。

更值钱的是一句话：硬件生命周期正在被软件重新定义。V100 不是死了，是之前的软件栈没好好待它。1Cat-vLLM 这样的开源项目、GPUStack 这样的开源平台，正在把“退役硬件”重新变成“算力资产”——这对预算有限的中小团队和个人开发者，是实实在在的福音。

如果你的机房里还有吃灰的 V100，先别急着报废。试试点亮它们。

评论区聊聊

你在老卡上跑新模型，卡在哪一步？装不下 / FP8 反量化 / 框架不支持 / CUDA 版本地狱？报错贴出来，评论区就是大型排雷现场。