
AI“造芯大战”与AI Infra市场崛起
AI行业突然掀起“造芯大战”。7月20日,The Information报道谷歌正研发内部代号“Frozen v2”的服务器芯片,计划固化Gemini模型部分架构。一个月前的6月24日,OpenAI和博通联合研发的首款推理芯片Jalapeño亮相,设计到流片仅用九个月。此外,Anthropic、智谱、DeepSeek也在相关布局。但并非所有公司都有能力造芯,于是AI infra市场引发关注,其逻辑是已部署的数据中心和GPU有优化空间。
AI推理平台表现与新势力入局
AI推理平台Baseten年收入增长20倍,估值从21亿美元飙升至130亿美元;同赛道的fireworks七个月内估值翻四倍,达175亿美元,年化营收突破10亿美元。最近,开源推理引擎“双子星”vLLM和SGLang先后商业化,种子轮融资超1亿美元,背后汇聚AI产业巨头和顶级风投,拉开对决大幕,“GPU的利用率”成硅谷新关键词,催生出新的千亿级市场。
大模型重心转移与算力要求变化
大模型重心从训练转向推理,对算力要求不同。训练成本高,结束即完成任务;推理则因AI应用增多,GPU请求不断,推理需求爆发式增长。RadixArk联合创始人朱邦华称,新应用增加使推理总量大增,如今市面上缺卡严重。巨头们通过增加资本开支建设数据中心、采购GPU应对,Meta、Google、Microsoft等今年合计预计超1万亿美元,黄仁勋预测2030年全球AI基础设施年投资规模达4万亿美元,但华尔街对此担忧,因过去有类似投资泡沫教训。
提高GPU利用率与AI Infra架构
提高GPU利用率成为满足AI发展需求的办法,背后产业是AI Infra。从整体架构看,GPU常处于“闲”的状态,卡内基梅隆大学研究发现其存在“execution - idle”状态,大量执行时间和能耗浪费在等待上。AI Infra有四层架构:能源基础设施决定GPU稳定运行;计算硬件决定理论计算上限;系统软件决定计算能否达硬件极限;服务编排协调GPU资源。其中,能源和硬件层是“硬”问题,软件和编排层是“软”问题,行业注意力正转向“软”问题。
软件层优化与开源框架作用
RadixArk成员陈震林认为软件层优化能带来更大提升,如NVIDIA GB200 NVL72机柜,软件优化可提高GPU利用率,节省成本。软件层重写和优化可帮助推理引擎和训练框架交互,提高GPU利用率。Anthropic员工中AI Infra相关工程师占比大,推理团队约200多人,三年间实现infra稳定和成本优化,二季度盈利。OpenAI、Anthropic和谷歌将AI Infra团队放内部,小模型团队和初创公司依赖SGLang与vLLM开源框架,两年前出现SGLang这样的开源社区是为适配新硬件系统。
AI Infra优化的核心问题与SGLang方案
目前优化工作归结为四个问题:哪些计算不用重做、哪些等待可消除、哪些算力未充分利用、哪些资源未协同。SGLang与vLLM围绕这些问题,思路不同。SGLang孵化的RadixArk团队在K/V Cache复用方面,通过RadixAttention技术,用“基数树”组织KV Cache,实现跨请求、跨机器共享复用,还做了Cache - aware scheduling、Eviction、分布式cache - aware load balancer等优化策略。在等待问题上,采用Continuous Batching和Prefill/Decode分离方法,提升GPU吞吐量和效率,SGLang支持大规模PD分离部署。在算力释放上,通过低精度计算和投机采样,推理引擎集成新能力。SGLang与芯片厂商深度绑定联合优化,成为硬件评测工具,RadixArk融资获众多硬件与系统层玩家和重磅个人投资者支持。
资源协同与Miles训练框架
强化学习成为新一代模型核心训练方式,使AI训练形态改变,传统训练框架用于强化学习会造成算力浪费,资源协同是关键。RadixArk推出面向大模型后训练的开源框架Miles,将“训练”和“推理”纳入同一系统,与SGLang配合,形成高效后训练闭环,在新硬件支持等方面优化,已被前沿实验室采用。
开源框架创业与AI Infra未来愿景
SGLang和vLLM开源架构靠研究者业余维护,算力紧缺时,主创团队选择创业推动技术发展。RadixArk从SGLang孵化,认为未来AI Infra可能成行业共享基础设施。如今开源模型迭代快,但部署需解决工程问题,SGLang能day - 0支持,推理框架成连接模型与芯片关键。朱邦华表示做RadixArk是为赋能更多人,让人人能做前沿实验室,降低AI工作门槛,释放infra红利,推动AGI发展。



被折叠的 条评论
为什么被折叠?



