一张卡一小时挣38美元,价格才敢这么低

DeepSeek开源推理框架DeepInfer,公布单卡每小时收入38美元及155万亿token/天吞吐能力,核心在于高性能调度与缓存优化(如96%输入缓存命中率、1.5M tps)。但KV Cache管理与负载均衡等关键模块未开源,实际成本依赖大规模集群与动态资源调度。技术报告揭示:模型能力之外,中间层效率才是定价底牌,直接影响token处理量与服务单价。

上个月陪朋友算过一笔账:他想把一个小服务从API挪到自建推理,租卡和电费都列清楚了,最后卡在一个数上——一张卡一小时到底能吐出多少token。这个数直接决定划不划算。可同样一张卡、同一个模型,换一套推理栈,产出能差好几倍,而没人把自家的数写出来。

10月20日,DeepSeek把内部推理框架DeepInfer开源了。同步发布的技术报告里,公布了两个关键数字:单一集群的服务吞吐155万亿token/天;按谷价算,单卡每小时收入38美元。

这不是模型参数,是服务成本的结构。模型决定能力上限,中间那层调度决定你能不能把能力卖便宜。

38美元是怎么来的

拿这两个数粗算一下。38美元除以Flash的0.15美元每百万输入价,约等于一张卡一小时处理2.5亿token;乘24小时,单卡日产60亿;155万亿除以60亿,大概是两万多张卡的规模。

算法很糙,忽略了输出价、缓存命中和混部,但结论站得住:Flash能卖0.15美元,不是让利,是这套栈把单卡产出顶到了这个量级。

DeepSeek还披露了一组线上实测数据:每卡吞吐(含缓存命中)达到1.5M tps,平均输入缓存命中率96%,首字时延平均400ms、P99为1000ms。这些数字在跑分榜上一个字都不提,但它们才是定价的底牌。

开源了什么,没开源什么

DeepInfer集成了高性能算子、推测解码、SWA Bounded Replay、结构化输出等能力,支持NVIDIA和华为昇腾平台。配套还开源了生产级Token编解码组件deepseek-recipe,处理逻辑与官方API完整对齐。

但DeepSeek团队自己写得很清楚:KV Cache管理和负载均衡跟内部基础设施耦合太深,这部分代码没完整开源,而它恰好是最影响成本的两块。155万亿和38美元都是自家口径,按谷价算的,也没交代卡型和集群规模。

开源不等于你也能跑到这个数

这才是最该泼的冷水。

开源不等于你也能跑到这个数:要规模,要长期吃得满的负载。小团队照抄大概率是买一堆卡在夜里空转。DeepSeek的Prefill用8卡服务器、Decode用64-128卡超节点,两套资源需求比例随流量实时变化,提前设固定比例就会一边排队一边空转。这种集群级的调度能力,不是下载一个仓库就能复制的。

对独立开发者来说,结论不是“去自建”,而是别再把模型单价当成选型的唯一变量。同一个模型、不同线路之间的价差,往往就来自中间这一层——有的渠道把缓存命中率做到96%,有的连KVCache都没配好。你看到的单价,只是结果。

当价差藏在中间层,账要能对得上

模型在换、线路在换,同一个模型在不同渠道的实际成本能差出几倍。EasyAPI这类聚合入口把多模型接入和费用明细收在同一层:一个Key接入所有主流模型,按任务类型分配路由,账单按模型和调用方归集。哪条线路的缓存命中高、哪条线路的实际成本低,用量明细里能看出来。模型单价是明面上的数字,中间那层的效率才是账单背后的变量。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值