上个月陪朋友算过一笔账:他想把一个小服务从API挪到自建推理,租卡和电费都列清楚了,最后卡在一个数上——一张卡一小时到底能吐出多少token。这个数直接决定划不划算。可同样一张卡、同一个模型,换一套推理栈,产出能差好几倍,而没人把自家的数写出来。
10月20日,DeepSeek把内部推理框架DeepInfer开源了。同步发布的技术报告里,公布了两个关键数字:单一集群的服务吞吐155万亿token/天;按谷价算,单卡每小时收入38美元。
这不是模型参数,是服务成本的结构。模型决定能力上限,中间那层调度决定你能不能把能力卖便宜。
38美元是怎么来的
拿这两个数粗算一下。38美元除以Flash的0.15美元每百万输入价,约等于一张卡一小时处理2.5亿token;乘24小时,单卡日产60亿;155万亿除以60亿,大概是两万多张卡的规模。
算法很糙,忽略了输出价、缓存命中和混部,但结论站得住:Flash能卖0.15美元,不是让利,是这套栈把单卡产出顶到了这个量级。
DeepSeek还披露了一组线上实测数据:每卡吞吐(含缓存命中)达到1.5M tps,平均输入缓存命中率96%,首字时延平均400ms、P99为1000ms。这些数字在跑分榜上一个字都不提,但它们才是定价的底牌。
开源了什么,没开源什么
DeepInfer集成了高性能算子、推测解码、SWA Bounded Replay、结构化输出等能力,支持NVIDIA和华为昇腾平台。配套还开源了生产级Token编解码组件deepseek-recipe,处理逻辑与官方API完整对齐。
但DeepSeek团队自己写得很清楚:KV Cache管理和负载均衡跟内部基础设施耦合太深,这部分代码没完整开源,而它恰好是最影响成本的两块。155万亿和38美元都是自家口径,按谷价算的,也没交代卡型和集群规模。
开源不等于你也能跑到这个数
这才是最该泼的冷水。
开源不等于你也能跑到这个数:要规模,要长期吃得满的负载。小团队照抄大概率是买一堆卡在夜里空转。DeepSeek的Prefill用8卡服务器、Decode用64-128卡超节点,两套资源需求比例随流量实时变化,提前设固定比例就会一边排队一边空转。这种集群级的调度能力,不是下载一个仓库就能复制的。
对独立开发者来说,结论不是“去自建”,而是别再把模型单价当成选型的唯一变量。同一个模型、不同线路之间的价差,往往就来自中间这一层——有的渠道把缓存命中率做到96%,有的连KVCache都没配好。你看到的单价,只是结果。
当价差藏在中间层,账要能对得上
模型在换、线路在换,同一个模型在不同渠道的实际成本能差出几倍。EasyAPI这类聚合入口把多模型接入和费用明细收在同一层:一个Key接入所有主流模型,按任务类型分配路由,账单按模型和调用方归集。哪条线路的缓存命中高、哪条线路的实际成本低,用量明细里能看出来。模型单价是明面上的数字,中间那层的效率才是账单背后的变量。
DeepSeek开源推理框架DeepInfer,公布单卡每小时收入38美元及155万亿token/天吞吐能力,核心在于高性能调度与缓存优化(如96%输入缓存命中率、1.5M tps)。但KV Cache管理与负载均衡等关键模块未开源,实际成本依赖大规模集群与动态资源调度。技术报告揭示:模型能力之外,中间层效率才是定价底牌,直接影响token处理量与服务单价。
500

被折叠的 条评论
为什么被折叠?



