京东 Oxygen xLLM 大模型推理引擎正式捐赠开放原子开源基金会，共建国产 AI Infra 生态

2026 年 6 月 24 日，北京 —— 在开放原子开源基金会主办的捐赠仪式上，京东正式宣布将自主研发的大模型推理引擎 Oxygen xLLM 捐赠至开放原子开源基金会。京东零售 AI Infra & 大数据计算负责人张科代表京东出席捐赠仪式，与基金会及合作伙伴共同见证这一国产大模型推理引擎走向更开放生态的关键时刻。

01

本次捐赠

6 月 24 日上午，“Oxygen xLLM开源项目捐赠仪式”在开放原子开源基金会主导下举行。京东将 Oxygen xLLM 的著作权、相关专利权、项目商标及配套权益整体转让至基金会，并以 Apache 2.0 许可证向社区开放。
这不是一次简单的代码迁移，而是京东多年大模型工程实践向产业生态的一次系统性输出。依托基金会的平台与影响力，Oxygen xLLM 将与模型厂商、芯片厂商、云厂商及行业用户携手，加速国产推理引擎走向繁荣。

不止于捐赠：AI 工程基建的下一程，是“工程智能化”

捐赠仪式现场，京东零售 AI Infra & 大数据计算负责人张科代表京东出席并参与捐赠环节，重点阐述了京东对国产 AI 基础设施下一阶段的判断。

张科指出，AI 工程基建的未来是工程智能化（Engineering Intelligence, EI）。“下一阶段 AI 基础设施的核心命题，不是简单的算力堆叠，而是让工程本身变得智能——让调度系统能自主感知负载特征并动态优化，让推理引擎能根据模型结构和硬件特性自动生成最优执行方案，让整个 AI 工程链路具备自感知、自决策、自优化的能力。”

他同时强调，工程智能化（EI）的愿景，远非一家企业所能独立实现。“它需要芯片厂商、框架开发者、模型团队、云服务商以及广大开发者生态的齐心协力、共同开放打造。Oxygen xLLM 捐赠给开放原子开源基金会，正是我们为 EI 生态播下的一颗种子。”

Oxygen xLLM：服务-引擎解耦的大模型推理引擎

大模型在生产环境的规模化部署，正面临三道难题：SLO 与资源效率难以兼得、硬件潜力释放不足、异构场景协同困难。流量潮汐、MoE 等新架构的快速演进、多模型多芯片并存的复杂局面，让“既要稳、又要快、还要省”愈发迫切。

Oxygen xLLM 是业界首个采用“服务-引擎解耦”架构的大模型推理框架，将集群调度（Service 层）与底层计算（Engine 层）分离，把"弹性资源分配"与"极致算力榨取"统一在同一套框架之内：

Oxygen xLLM 服务层（xLLM-Service）：在线-离线任务统一弹性调度，兼顾 SLO 与利用率；动态 PD 分离应对流量突刺；全局 KV 缓存与快速故障恢复保障大规模生产可用性。

Oxygen xLLM 引擎层（xLLM-Engine）：多层次流水线让计算与通信全面重叠；自适应图模式与高效内存管理破解动态输入和显存分配难题；针对 MoE、投机解码、生成式推荐等场景专项优化，充分释放硬件潜力。

接入层，Oxygen xLLM 提供统一 AI Gateway 与 OpenAI 兼容 SDK；硬件层，原生支持 GPU / NPU / MLU 多类 AI 芯片，深度适配国产芯片。

04

核心技术亮点与工业级验证

围绕“统一、性能、稳定、开放”，Oxygen xLLM 形成五项差异化能力：

架构创新—— 首创服务-引擎解耦，调度与计算独立演进、协同增效；

性能突破—— 多层次流水线、自适应图模式、动态 PD 分离等关键技术，在严格 SLO 约束下显著提升吞吐与资源利用率，整体性能超越现有 SOTA 推理框架；

异构统一—— 统一推理抽象层屏蔽硬件与模型差异，支持 LLM、VLM、DiT、文生图/视频、生成式推荐等多类模型，以及多种国产芯片混合部署；

高可用保障—— 全局 KV Cache 管理、分布式快速故障恢复、健康监控与自动巡检，护航大规模生产稳定运行；

国产化适配—— 一套框架覆盖多种国产芯片，填补"异构芯片统一推理"空白，降低国产化部署门槛。

Oxygen xLLM 并非“实验室项目”，已在京东多个核心业务规模化落地，并在外部多个行业完成验证：

电商：京东客服大模型等场景中，面对大促期间数倍的流量波动，集群利用率提升35% 以上，P99 延迟降低28%；

电力：面向电力巡检“秒级与毫秒级并存”的两极时延需求，巡检效率较人工提升约 3 倍，停电事故率下降30%，应急维修效率提升20%；

公共安全：合作伙伴联汇基于 Oxygen xLLM 构建边缘推理能力，巡检效率提升227%，32 并发提升127%，TTFT 缩短50%。

05

社区与生态：从京东走向开放原子

Oxygen xLLM 自开源以来已收获良好的早期反响：GitHub Stars 1.4k+、Forks 235，各大国产芯片厂商和大模型厂商已成为项目核心参与与赞助方。
加入开放原子开源基金会后，Oxygen xLLM 将聚焦三件事：

生态共建—— 联合更多模型厂商、芯片厂商、云厂商共建社区，打造“芯片+框架+解决方案”的完整生态；

广泛推广—— 借助基金会影响力，把已在京东及合作伙伴验证过的能力推向更多行业；

标准引领—— 推动形成大模型推理引擎相关标准，助力国产化推理能力规模化应用。

按照规划，2026 年 Oxygen xLLM 将完成全模态模型（文生图/视频/Omini）支持、主流国产芯片全面适配、企业版商业服务推出，社区贡献者规模拓展至 200 人量级；2027 年起进入“行业渗透与标准引领”阶段，推动 Oxygen xLLM 成为国产芯片大模型推理的事实标准。

未来，Oxygen xLLM 的项目官网、社区沟通渠道及微信社区将陆续向开发者开放，诚邀芯片厂商、模型厂商、云厂商、企业用户及个人开发者共同参与，让国产大模型推理引擎在开放生态中加速成长。

GitHub 地址：https://github.com/jd-opensource/xllm

— END —