
AI“造芯大战”爆发
AI行业突然开启了一场“造芯大战”。7月20日,The Information报道称,谷歌正在研发一款内部代号“Frozen v2”的服务器芯片,计划把Gemini模型的部分架构直接固化进硅片。而在一个月前的6月24日,OpenAI亮出了和博通联合研发的首款推理芯片Jalapeño,从设计到流片只用了九个月。此外,Anthropic、智谱、DeepSeek也都相继传出正在进行相关布局。
AI Infra市场受关注
并非每家公司都有资金和能力重造芯片,因此,AI Infra市场引发了资本和巨头的关注。其背后逻辑是,已部署好的数据中心和GPU存在优化空间。AI推理平台Baseten一年收入增长了20倍,估值从21亿美元暴涨至130亿。同赛道的fireworks,七个月内估值翻了四倍达到175亿美元,年化营收突破10亿美元。最近,开源推理引擎“双子星”vLLM和SGLang前后脚宣布商业化,种子轮融资都超过1亿美元,背后几乎聚齐了AI产业里所有巨头和顶级风投的名字,拉开了强强对决的大幕。“GPU的利用率”成为硅谷最新关键词,也带出了一个新的千亿级市场。
AI Infra架构解析
大模型重心从训练走向推理,对算力提出不同要求。训练成本高,完成后任务结束,但推理中,AI应用增多,GPU处理请求增多且不间断,推理需求爆发性增长。现在市面上卡紧缺,巨头们通过建数据中心、采购更多GPU来解决,但华尔街对此表示担心,因为过去互联网时代泡沫破灭有前车之鉴。若不能短期内大规模增加算力,提高GPU利用率是满足AI发展需求的办法,背后产业即为AI Infra(人工智能基础设施层)。
从AI Infra整体架构看,存在一个误区,即认为GPU很忙,实则多数时候GPU很“闲”。GPU是AI系统一环,用户请求进入系统后,需经网络传输、资源调度、模型加载、内存管理,再到完成推理、返回结果,任何环节出现瓶颈,GPU就会等待。卡内基梅隆大学(CMU)今年4月研究发现,很多GPU处于“execution - idle”(执行时空转)状态,观测集群中,近20%执行时间和约11%能耗浪费在等待上,推理场景中浪费更严重。
AI Infra有四层架构,每层都影响GPU利用率。第一层是能源基础设施(Power Infrastructure),即电,决定GPU能否持续稳定运行;第二层是计算硬件(Hardware Infrastructure),即卡,除GPU外,还包括高带宽存储(HBM)、高速互联(NVLink、InfiniBand)和CPU等,决定理论计算上限;第三层是系统软件(System Software),包括CUDA、编译器(Compiler)、通信库、内存管理和底层算子(Kernel)库等,决定每次计算能否执行到硬件物理极限;第四层是服务编排(Service Orchestration),负责协调GPU资源,决定任务优先级和业务动态调度,推理引擎、训练框架、请求调度和资源管理等属于此层,代表性项目有vLLM、SGLang等,也是创新密集区。
四个层级中任何一层出现问题,都会影响GPU利用率,但问题性质不同。能源基础设计层和计算硬件层是“硬”问题,改造周期长且优化空间见顶;系统软件层和服务编排层是“软”问题,本质是工程和算法问题,优化后能带来数倍性能提升。行业注意力正快速向这两层“软”问题转移。
开源框架成支柱
尽管成本主要在物理层,但大部分工作应放在软件层和服务编排,因为投入人力能带来最大优化可能性。例如,一台NVIDIA GB200 NVL72机柜采购成本约400万美元,若软件栈未做好调度和优化,GPU实际利用率可能只有50%,相当于浪费200万美元;若能将利用率从50%提升到90%以上,效果相当于多出一台机柜。软件层优化能带来更好服务和token消耗,通过重写和优化,帮助推理引擎和训练框架更好交互,提升GPU利用率。不久前,网友发现Anthropic员工中AI Infra相关工程师占比最大,其推理队伍约200多人,三年间从infra极度不稳定到趋于稳定,成本和优化效果增强,二季度实现盈利。
OpenAI、Anthropic和谷歌会在公司内部组建AI Infra团队,因为这是竞争壁垒之一。但对于资金不足的小模型团队或初创公司,开源框架SGLang与vLLM成为支柱。
优化核心问题探讨
K/V Cache的极致复用
大模型推理存在“推理税”问题,即同一段文字反复输入模型时,每次都要从头计算,在实际业务中是硬伤。Anthropic曾做过优化,通过KV Cache复用将成本砍了90%。Transformer解码时,每一层self - attention会把历史token映射成Key / Value张量(KV),Cache用于缓存。第一次请求的prefill阶段,系统存储prompt中每个token、每一层的K/V,之后解码新token时,只计算新token的KV并追加到缓存,历史token的K/V直接复用。但KV Cache占GPU显存,上下文长、用户请求多时,会成为推理服务瓶颈。
SGLang的RadixAttention技术用“基数树”(Radix Tree)数据结构组织海量请求的KV Cache,可跨请求、跨机器共享和复用KV Cache。不过,工程实现复杂,SGLang做了很多优化策略,如Cache - aware scheduling将相似请求排在一起处理,Eviction在显存不够时淘汰最不可能再用的缓存,分布式cache - aware load balancer尽量把请求发到已有缓存的GPU上。
等待:让GPU别闲着
当前内存价格上涨,高端显存缺货,GPU难抢,但抢到的卡一半时间在“干等”。一是请求之间的等待,最早推理引擎是“排队制”,后演进到“批处理”,但都存在浪费问题。现在主流的Continuous Batching(连续批处理)像随时上下客的公交车,新请求随时上车,算完的请求随时下车,能让GPU吞吐量提升2到4倍。二是计算阶段的等待,大模型推理的读入阶段(Prefill)和生成阶段(Decode)混合执行会互相拖累,现在的Prefill/Decode分离方案将两个阶段拆到不同GPU上,各自用适合的硬件配置,通过高速网络传递中间结果。PD分离已成为推理引擎重要架构演进,英伟达的分布式推理框架Dynamo和SGLang都有相关支持。
算力:“多释放一倍”
英伟达H100发布后,AI推理性能未如预期提升,原因是GPU大量时间花在数据搬运和串行解码上,计算能力未充分释放。解决思路有两个方向,一是低精度计算,通过设置模型权重、中间激活值、KV Cache的精度,减少显存占用,释放更多算力空间;二是投机采样(Speculative Decoding),用小模型“猜”接下来的字,大模型一次性验证,最佳情况下能提升生成速度2到3倍。推理引擎需集成这些新能力,优化软硬件协同。SGLang是整体推理解决方案,有很多技术组合,与芯片厂商深度绑定联合优化,已成为硬件评测工具。RadixArk从SGLang孵化融资时,吸引了众多AI硬件与系统层主要玩家和重磅个人投资者。对他们来说,投资推理引擎是战略下注,需要连接算力与应用的基础设施入口。
资源协同:适配RL后训练的Miles
强化学习成为新一代模型核心训练方式,使AI训练形态改变。传统模型训练单一,硬件配置和调度策略针对训练优化即可,但强化学习要循环进行推理、评估、参数更新三种不同计算,对硬件需求差异大。若用传统训练框架跑强化学习,会浪费大量算力。
因此,RadixArk在SGLang之外推出训练框架Miles。Miles是面向大模型后训练的开源训练框架,将“训练”和“推理”放在同一系统考虑,与SGLang配合,能让推理和训练衔接更顺,减少等待和切换时间浪费,形成高效后训练闭环。Miles在新硬件支持、MoE训练以及训练与推理一致性等方面进行了大量工程优化,自2025年11月启动以来,已被不少前沿实验室采用。
开源框架创业与行业展望
SGLang和vLLM都是开源架构,靠开源社区协作维护,但面对算力紧缺,主创团队选择创业推动技术发展。RadixArk从SGLang孵化出来后,认为未来AI Infra可能演变成AI行业共享的基础设施。最近,黄仁勋牵头成立开源AI联盟,包含模型公司、芯片公司和AI Infra项目。如今开源模型迭代快,但部署等工程问题需解决,SGLang能做到day - 0支持,使开发者能立即部署模型,同一套推理框架可运行在多种芯片上,推理框架正像AI时代的“操作系统”。
RadixArk希望赋能更多有想法的人,降低AI工作门槛,让人人都能训练出前沿级模型,实现更好推理。当AI Infra能力成为公共品,或许能让AGI更近一步。



被折叠的 条评论
为什么被折叠?



