代码量降低 80%，告别百万工时浪费：NebulaGraph 在京东物流的应用

最新推荐文章于 2025-07-17 14:38:53 发布

Python_金钱豹

最新推荐文章于 2025-07-17 14:38:53 发布

阅读量625

点赞数 22

CC 4.0 BY-SA版权

文章标签：数据库网络深度学习人工智能机器学习语言模型自然语言处理

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/149366556

导读

面对日均数万人参与、月均百万级 Excel 处理、百万工时消耗的“做数”困境，以及复杂的数据权限与血缘关系挑战， NebulaGraph 图数据库落地其智能化大数据分析平台 UData 后，实现了查询延迟降低 30%，整体查询性能提升 5 倍，权限校验响应时间 <100ms 等显著成效。

一、业务背景

京东集团 2007 年开始自建物流，2017 年正式成立京东物流集团，2021 年 5 月，京东物流于香港联交所主板上市。目前，京东物流主要聚焦于快消、服装、家电家具、3C、汽车、生鲜等六大行业，为客户提供一体化供应链解决方案和物流服务。

（一）业务痛点

作为中国领先的供应链解决方案提供商，京东物流每天需要处理海量、多源、异构的业务数据：数据运营岗从线上、线下系统手动下载各类繁杂数据，通过 Excel 进行拼接、透视分析和公式计算，最后将结果保存至本地并线下分享。

日均做数人数超过数万人，相当于一个大型工厂的全体员工都在手动处理数据，每天约有 10 万名一线业务人员需要频繁查看数据。
*Excel 月处理量达百万级*，这意味着我们每个月要手动操作数百万次表格；
*做数总耗时高达百万小时/月*，相当于数百人全年无休。

在百万级数据规模下，我们遇到了几大核心挑战：

数据来源多，做数成本高：业务系统分散，数据标准不统一，导致“数据孤岛”现象严重。例如：“时效分析”需要关联 TMS 系统、分拣报表、终端配送数据，但各系统口径不一致，人工对齐耗时巨大。
数据需求多且变化快，上下协同难：分析需求涵盖时间（年/月/日）、环节（仓储/分拣/配送）、产品（快递/快运）、组织（集团/省区/场地）等多个维度，目前每天有几万个提数任务，几万张不同的数据看板，同时新需求上线往往需要多方配合，无法快速响应业务变化。

（二）UData 一站式数据分析平台

面对以上问题，我们亟须找到一种更高效、更灵活的数据管理和数据处理方案：京东物流搭建了 UData——一款一站式、自助式的数据分析平台。

UData 实现了百万级数据的自助取数，支持实时数据监控与交互式分析，可随时查看 KPI 达成情况、工单单量变化，还能通过数据地图直观呈现业务分布。

二、Why NebulaGraph？

在涉及海量高度互联数据的获取、处理及访问控制场景中，传统关系型数据库在复杂关系建模与查询效率方面存在显著瓶颈，而基于原生图存储结构及高效遍历能力的图数据库技术则展现出显著优势。

我们最终选择了 NebulaGraph 建设 UData.

（一）天然适配复杂关系

NebulaGraph 图数据库以**“点-边”结构直接映射数据血缘和权限的网状关系**。

（二）高效的查询语句

MySQL 通过五六十行的 SQL 进行查询，但 nGQL 只需短短几行，极大提升了代码的可维护性，代码量降低 80%，性能提升 10 倍。

（三）活跃的开源社区

NebulaGraph 作为国内最大最活跃的图数据库开源社区，拥有来自各行各业的图数据库开发者，许多技术问题能在论坛得到快速响应。

三、实践案例

（一）性能优化

将用户点选配置或者 SQL 解析为图结构，建立基于表的血缘关系，寻找热表或者重点保障的表，进行替换，提高查询效率，复杂血缘分析任务从分钟级降至秒级，整体查询时长降低 30 %。

（二）稳定性提升

缓存和路由是我们度过 618 和双 11 大促的重要手段，在这两个功能上，NebulaGraph 也给我们带来了很大的稳定性提升。

缓存方面：针对报表的历史访问记录，生成报表的特征，以 15 分钟为一个周期，获取历史 7 天的访问数据，生成时序图，通过时序图学习算法进行预测，判断下个区间内，对应的报表是否会有访问，提前对报表数据进行缓存，大大减少了系统繁忙时的压力，目前系统的缓存可以覆盖 75% 以上的报表查询和访问。
**集群路由方面：**依赖图计算方法，获取每个节点（报表）对于集群的压力，新增时寻找相似的节点判断该得分，通过得分生成不同的策略，保障查询集群的稳定性。此外，我们还会通过血缘分析报表的组成，以达到分配到最优集群进行查询的目的。

四、未来规划

NebulaGraph 的应用只是起点，我们计划在以下方向持续探索：

智能数据治理：结合图算法识别数据资产中的特定结构（如循环依赖），自动优化数据链路。
GraphRAG：用于智能客服和报表生成，通过图结构理解业务语义，提升问答准确率。
实时检索优化：探索图与向量数据库的结合，实现“数据+知识”的混合检索，溯源到业务平台，构建物流数据分析知识图谱。

京东物流通过 NebulaGraph 图数据库赋能 UData 平台，有效破解了百万级 Excel 手工处理困境。通过“点-边”结构高效映射复杂数据关系，简洁高效的 nGQL 等图技术，实现查询延迟降低 30%、性能提升 5 倍、权限响应 <100ms 的突破性成果。

未来，智能数据治理与 GraphRAG 等图技术深化应用，将持续推动物流数据向实时化、智能化演进，为 618、双 11 等互联网大促注入新动能。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述