「零售数据通道」数据炼金术:千亿级流量资产湖仓架构转型

作者:京东零售 陈美航

0 前言

在流量领域的转化分析、搜索推广算法及AI等数据分析应用场景中,流量资产的质量直接影响到业务的监测和运营。作为流量资产的基石,流量数仓在应对快速变化和多样化的业务需求时,如何在提高效率、优化用户体验和控制成本方面做到最佳?本文将方案设计、链路优化、湖架构新特性研发、大促保障及监控设计等多角度全方位介绍湖仓一体技术在流量资产的探索和实践。

1 转型前,流量数仓有哪些痛点?

1.1 架构负担重

原流量数仓采用典型的Lambda架构,虽然能够给用户提供离/在线两种时效数据,但长期以来存在离线、实时数据对不齐,多种计算组件和架构范式导致的成本负担高等问题,用户很难专注于解决业务问题实现价值。

在这里插入图片描述

从成本上看,

•离线、实时链路相互独立运转,计算资源double,增加成本约100W/年;

•离线链路为优化时效,采用小时级加工方式代替原T+1批处理,但确引入导数据冗余存储及同一份数据多次copy问题,存储及计算成本增加近40W/年;

从效率上看,资产模型的开发迭代需要在离线和实时研发人员间拉通对齐,整体效率不高;

从体验上看,因离线和实时链路计算&存储异构,常常因为数据间有gap,或者表/流对不齐,需要下游用户花费更多的时间和精力排查解决,使用体验差;

1.2 模型割裂

不同类的用户交互行为模型,如曝光、点击、浏览、订单等,又按照埋点上报端来划分为主站APP、M、PC、WEIXIN及各垂站APP等,再考虑实时和离线,同一类的交互模型将衍生出10余张表或流模型,共40+模型,这将带来很多问题。

体验差,效率低:

•完整的用户行为分析需要接入以上全部模型,接入时和后期迭代运维工作量巨大;

•各模型间字段命名不统一,列对不齐,各端上报的埋点规则也不一致,取数开发成本非常高;

冗余计算,成本高:

•业务使用的字段需要从诸如json_param,event_param等扩展列取值,下游数千用户重复计算提取;

1.3 时效性不完备

仅有流式秒级和T+1天级时效数据,没有提供近实时数据能力,考虑到秒级数据的成本,一些用户只能选择使用T+1数据。流量数仓GDM层T+1时效具备时间日常一般为凌晨2点,下游接入后,在面对内部复杂业务场景时,计算处理时间捉襟见肘,数据SLA难以保障,大促或活动流量高峰时,影响更为明显。

2 为什么选择湖仓框架来解决以上问题?

湖仓架构(Delta Lake, Hudi等)具有许多诸如支持更新、存算分离、支持非结构化和结构化多种数据类型等特性,但应用到流量资产场景时,我们最关注以下四个关键特性:

•端到端分钟级能力;

•支持事务,保障数据在多方并发读写时的一致性,写入任务异常时的回滚清理;

•MVCC功能,提供轻量级时间旅行能力,在处理小文件问题时尤为重要;

•数据重新布局能力,有效降低存储和查询成本;

3 湖仓链路架构设计

模型精简统一:曝光、点击、浏览、订单等不同用户交互行为内的各端及实时、离线模型,数据统一,模型名称统一,字段名称统一,由之前40+模型简化为4个逻辑模型,8个实体模型;

用户交互类型时效旧模型新模型
曝光实时ja2015_311210_ep,inner_ja2015_311210_ep,mo_j2011_1_ep,inner_m_ep,inner_wxapp_ep,inner_app_ep,exp_log.100000gdm_jdr_sch_d14_traffic_expo_di (Topic)
离线gdm_m14_wireless_exposure_osp_eid_log,gdm_m14_wireless_exposure_log,gdm_m14_m_exposure_log, gdm_m14_wxapp_exposure_log,gdm_m14_unify_exposure_log gdm_m14_pc_exposure_loggdm_jdr_sch_d14_traffic_expo_di
准实时(分钟级)无
点击实时ja2015_311210_cl,inner_m_cl_ja2015_311210,mo_j2011_1_cl, inner_m_cl, inner_wxapp_cl, inner_app_cl, other.000000gdm_jdr_sch_d14_traffic_click_di (Topic)
离线gdm_m14_wireless_click_osp_eid_log,gdm_m14_wireless_click_log,gdm_m14_m_click_log,gdm_m14_wxapp_click_log,gdm_m14_unify_online_log_mark,gdm_m14_pc_click_loggdm_jdr_sch_d14_traffic_click_di
准实时(分钟级)无
浏览实时ja2015_311210_pv,inner_m_pv_ja2015_311210,mo_j2011_1_pv,inner_m_pv,inner_wxapp_pv,inner_app_pv,www.100000gdm_jdr_sch_d14_traffic_pageview_di (Topic)
离线gdm_m14_wireless_online_log, gdm_m14_m_online_log, gdm_m14_wxapp_online_log, gdm_m14_unify_online_log, gdm_m14_pc_online_loggdm_jdr_sch_d14_traffic_pageview_di
准实时(分钟级)无
订单实时ja2015_311210_sr_od, inner_m_sr_od_ja2015_311210, mo_j2011_1_sr_od, inner_m_sr, inner_wxapp_od, inner_app_sr_od, order.100000gdm_jdr_sch_d14_traffic_order_di (Topic)
离线gdm_m14_wireless_order_log, gdm_m14_m_order_log, gdm_m14_wxapp_order_log, gdm_m14_unify_order_log, gdm_m14_ol_sale_ordgdm_jdr_sch_d14_traffic_order_di
准实时(分钟级)无

标准且易用:将数据ETL过程封装成埋点解析SDK,对埋点上报数据进行统一解析,形成含义清晰的标准字段(例如shp -> shop_id , rtm -> receive_ts等),埋点上报的复杂字段及解析逻辑对下游用户透明;

数据语义保证:通过Flink任务集成解析SDK,将原始数据加工成最终模型,并事务生产到JDQ,同时下游通过Flink任务写入Hudi表中,保证链路处理语义为Exactly-Once;

优化效率及成本:Hudi表按照业务域分区,方便下游裁剪数据按需取数;数据分钟级可见,存算成本需要比原表低;

容灾:设计冷备批修复链路,应对所有可能出现异常导致的数据不可用情况。

新链路架构图如下:
在这里插入图片描述

4 转型的挑战与优化

在流量资产湖仓一体化转型的过程中,也遇到了很多的挑战,平台侧基于开源Hudi,在底层引擎做了大量的优化,数资团队也与数据湖平台团队展开紧密联动,“遇山开路,逢水搭桥”!下面着重介绍下在实际落地过程中,都遇到了哪些挑战,以及是如何解决的

4.1 数据湖团队 – 从底层引擎的视角,面临的挑战与优化

在这里插入图片描述

4.1.1 数据湖多模态 IO 能力

挑战:京东某些HDFS集群在热点时段繁忙度较高。此时Flink流写会出现timeout重试甚至异常重启,导致写入性能均值吞吐受限,且扩Flink资源对性能提升效果不明显

解决方案:自研湖表多模态IO能力,将湖表物理存储划分为缓冲层和持久层,流量数据先写高性能缓冲层,极大提升写入性能与任务稳定性,且吞吐能够横向扩展。

开源Hudi版本,其元数据和物理存储是一对一的关系,数据湖团队创新性的设计了多模态IO的能力,结合Hudi自身元数据,构建统一的IO抽象层与Hudi逻辑表视图能力,实现湖表分层存储。对底层物理存储而言,以可插拔的方式集成不同的存储介质,例如HDFS、OSS、Kafka、HBase和Redis等,再结合Hudi元数据,构建统一的Hudi逻辑表视图,对外暴露逻辑表,实现对查询、写入端的透明;不同存储介质间,扩展Hudi表服务能力,即Clustering/Compaction 实现在完成常规湖表文件整理工作的同时,同步完成不同物理介质间的数据“搬运”工作。

在这里插入图片描述

湖表数据缓冲层,即为湖表多模态IO的一个具体的落地场景,将湖表物理存储划分为以高性能HDFS为基础的数据缓冲层和以共享HDFS为基础的数据持久层,热数据先写入到缓冲层,后续通过Compaction和Clustering等表服务搬运至持久层,以满足海量数据入湖场景下对于性能和稳定性的强烈诉求。这里需要注意的是,数据写入缓冲层并commit后即对下游可见,无论后续“搬运工作”何时开始与结束都不影响数据可见性与时效,另外因为复用了湖表自身的Compaction和Clustering表服务能力,来实现缓冲层到持久层的数据搬运工作,该行为同样遵循湖表的commit机制与MVCC快照隔离设计,因此湖表开启数据缓冲层后,同样具有原子性、事务性保障以及Exactly Once语义。

下面是一个普通湖表读写流程与开启湖表缓冲层功能后的湖表读写流程之间的对比

在这里插入图片描述

开启湖表多模态IO能力,后Hudi写入吞吐提升100%,CP时长减少95%,稳定性提升97%

4.1.2 湖表动态分区策略

挑战:业务分区倾斜严重,最大分区与最小分区数据量相差730万倍,需解决数据倾斜导致的写入性能和小文件问题

解决方案:在Flink流写Hudi的核心拓扑链路上,新增一个自定义Partitioner策略,根据湖表数据特征来路由数据,从而缓解数据倾斜,控制文件数量

在这里插入图片描述

4.1.3 跨引擎无锁并发 Append

挑战:随着流量数据量的持续提升以及大促场景下的骤增,受Flink机房资源限制,单个Flink集群扩容出现瓶颈,此时需要将任务拆分多个,并发Append同一张流量湖表。

解决方案:解决元数据冲突、JM与TM通信冲突、以及Hive元数据同步的冲突,实现轻量级的无锁并发Append,解决扩展性问题。

4.1.4 数据湖元数据 Timeline 优化

挑战:对于历史数据回溯入湖等批量操作,会提交“多且大”的元数据信息,从而影响正常元数据即Timeline访问的性能。

解决方案:针对通过湖表Replace-Commit的方式,来进行历史数据回溯,并在元数据访时,增加智能跳过、懒加载等机制,从而提升元数据访问性能。

4.1.5 异步增量排序Clustering

实时写入的数据文件通常较小且无序,数据湖团队扩展社区Clustering的能力,实现数据增量排序、合并,从而在合并小文件的同事,提升数据压缩比。在增量排序后,存储能够节省60%!

4.2 数资团队 – 从业务应用所做的优化及保障

流量资产是零售数据量最大主题,没有之一,日常千亿级别的量级,大促期间更是成倍上涨,由此带来整条数据链路上各个环节的架构组件都需要承受更大的计算压力和网络带宽冲击,以下通过链路性能优化、稳定性优化及监控等多方面介绍数资团队在转型过程中所做工作。

4.2.1 链路性能优化

4.2.1.1 反序列化优化

新模型仍旧以JSON为数据格式,随着比旧模型多了120+字段,行级的反序列化成本很高,尤其数据量级增大之后,往往成为整个任务的性能瓶颈。

为了处理好反序列化(Deser)的开销,我们做了两项工作:

• Flink流式处理过程中消息的Deser操作一般在Source算子中执行,该算子决定了整个任务的处理性能上限,受限于Flink Source Subtask和JDQ分区1对N的关系,无法通过扩大Source算子的并行度来提升性能,因此我们换了一种思路,将Deser操作从Source算子中抽出来,Source算子只负责从JDQ拉取字节级的消息数据,通过注册一个专门Deser的Lookup Table(为什么使用Lookup Table? Lookup Table可直接返回RowData类型,可直接用于入湖Sink算子,避免其他转换开销)来执行Deser操作,该Lookup算子并行度可按性能要求调整。

在这里插入图片描述

•针对曝光数据,受限于Flink单任务瓶颈,我们采用拆任务方式来提高入湖性能,但拆分需要根据消息所属业务域来进行,为避免拆分后的任务仍需要序列化整体数据,我们将消息业务域字段写入JDQ 消息 Headers中,拆分后的任务只需要解析Headers来过滤掉不需要的业务域数据,而不是通过Deser整个消息后来过滤。

4.2.1.2 写入性能优化

处理分区倾斜处理,按业务域分区后,曝光模型有些分区(S和Y分区)的倾斜度高达730万倍

在这里插入图片描述

如果不做任何处理直接入湖,入湖后的文件数将会是

File num = Sink并行度 * 表分区数

例如表分区数为 54,Sink并行度2000,那么一次commit产生的文件数至少为108000个,数据量最小的Y分区单个文件大小为KB级别,会形成非常多的小文件,无论是对NS还是后续Clustering操作都形成巨大压力,单个subtask要写54个分区的文件,在多个分区文件句柄间切换也非常耗性能。

优化:根据各个分区的大小来设计动态分区策略,数据量较大的分区,比如S,H,P,单独路由到特定的subtask集合,集合的大小根据该分区对应的数据量大小确定,S 分区占据了近一半的数据,因此它的subtask集合占据了Sink算子并行度的一半,而其他非常小的分区则三两成队路由到单独的subtask(尽量减少单个subtask写分区数量,减少写入句柄切换)。按此方式优化后,一次commit写入的文件约为6000+,减少了94% ,写入性能提升了1倍多。

流写HDFS优化,HDFS的读写参数默认为批读批写服务,比如默认写parquet block size为128M,但遇到流写场景,block size过大会影响流式写入性能,因此将此参数write.parquet.block.size调整至10~20M,形成微块写入,性能有显著提升,提升将近1倍,但也要考虑因此带来的下游读数性能下降,目前可通过Clustering来规避该问题。

4.2.2 链路稳定优化

4.2.2.1 JDQ集群稳定优化

挑战: 因曝光数据量过大,导致下游接入业务消费速度无法跟上生产,进而大量冷读磁盘数据导致JDQ集群磁盘繁忙引起整体性能抖动,转而影响正常消费的入湖任务,导致入湖时效延迟。

在这里插入图片描述
在这里插入图片描述

优化方案: 合理限制曝光流生产速度,并将下游按重要等级划分,依据不同等级限速,保障JDQ集群以合理的负载扛过大促洪峰阶段,待消峰后再逐步放开限速。

4.2.2.2 Clustering稳定优化

挑战: 异步增量Clustering需要做分区内全局数据排序,期间会产生大量Shuffle操作,日常会借助Spark RSS服务来稳定Shuffle操作,但大促洪峰时大量频繁的Shuffle即使使用RSS服务也会有Fetch Failed问题,甚至会对RSS服务造成冲击。

优化方案:平台侧研发了Clustering关闭排序功能的动态开关,可避免Shuffle,数资侧通过DUCC来控制开关,从而在大促洪峰期间可视数据量级大小判断是否关闭排序功能,防止Clustering Fetched Failed问题,降低RSS服务的风险。

4.2.3 流转批处理

挑战:在处理实时流表时,我们需要一种机制来感知流表的业务时间水位线,并判断何时 T - 1 的数据已准备就绪,以便正确启动下游的离线加工任务。

解决方案:我们通过流量湖表的流转批机制来实现这一目标。具体做法先改造Flink Hudi Writer,使其能够将业务时间记录在元数据中,再通过流转批服务定期扫描湖表元数据中记录的业务时间水位线。当所有分区的水位线最小值都超过 T 的零点时,并且对应的 Clustering 文件合并任务已完成时,这就表示 T - 1 的数据已准备就绪,此时下游依赖 的加工任务就可以运行。

在这里插入图片描述

4.2.4 湖链路容灾及监控

4.2.4.1 监控

除常规的Flink任务、JDQ生产消费监控外,我们额外针对hudi表设置了数据水位线的监控,具体方式和流转批逻辑类似,包括了流写的和异步clustering的水位线监控,分别对应图中的缓冲层(多模态IO具体实现)和持久层。

在这里插入图片描述
在这里插入图片描述

此外,Flink入湖任务checkpoint间隔为15min,如果仅使用JDQ消费积压监控来判断任务运行情况,则可能会出现故障延迟发现情况。例如T1时刻入湖作业出现故障,我们设置的报警会在T2时刻之后才因积压超过阈值而触发,(T1,T2)这段能及时发现问题处理问题的时间被浪费掉。

在这里插入图片描述

实时计算平台在Flink 1.16镜像提供了业务延迟监控解决了以上问题,并支持以此metric配置对应报警,能够第一时间发现任务异常情况。

在这里插入图片描述

4.2.4.2 容灾

平台侧研发了《Append模式下的跨引擎并发写》能力,支持COW表纯Append写入模式下Flink和Spark并发写入(不同分区),利用该能力业务侧搭建了湖表冷备容灾链路,并通过只修复异常期间数据来缩短整体修数时效,以曝光数据为例,修复全天数据有之前56小时缩短至23小时。

在这里插入图片描述

5 收益

5.1 SLA和数据时效提升

T+1 SLA提升,数据量级越大SLA提升越明显,给下游带来的Buffer越大,日常时效提升如下表所示,

模型Hive(旧模型)Hudi(新模型)SLA提前时间
订单00:2500:205min
浏览00:4500:3015min
点击01:1000:3040min
曝光02:0000:4575min

新增近实时数据,为兼顾性能和成本考虑,目前设定延迟为15min,待进一步优化后有望减小至10min内。

5.2 存算成本节降

以数据量曝光表和点击表为例:

曝光表Hive(旧模型)Hudi(新模型)节约备注
计算链路成本(元)6546/天8250/天-1704/天预期内的高时效及更多字段解析带来的成本上升
存储成本(元)61257/天34668/天26589/天1.湖仓技术数据重分布能力带来更高数据压缩比,100T -> 42.3T 将近60% 2.旧模型包含单分区和多分区表
总成本(元)67803/天42918/天24885/天合900万/年
点击表Hive(旧模型)Hudi(新模型)节约备注
计算链路成本(元)645/天1961/天-1316/天预期内的高时效及更多字段解析带来的成本上升
存储成本(元)14623/天3656/天10967/天1.湖仓技术数据重分布能力带来更高数据压缩比,12T -> 5T 将近60% 2.旧模型包含单分区和多分区表
总成本(元)15268/天5617/天9651/天合352万/年

两个数据量级最大的表预计节约存算成本1200+万/年。

5.3 查询成本节降

验证场景1:约60个字段length求总和(旧模型共约60个字段,新模型共180+字段)。

场景1结果:

Hive(旧模型)Hudi(新模型)节约
计算费用(元)24919527.7%
耗时(min)695914.5%

验证场景2:抽样统计从旧模型迁移到新模型的24个任务,对比历史(5月)与迁移后(9月)成本表现。

场景2结果:

Hive(旧模型)Hudi(新模型)节约
计算费用(元)11161元/7天(5月统计)6658元/7天(9月统计)40.3%

结论:新Hudi表模型查询成本及耗时优于旧Hive表模型,主要归功于Hudi的数据重新排序分布带来的文件压缩以及新模型在字段预先提取,避免下游重复计算。

5.4 业务反馈

•秒送业务反馈,接入湖仓架构表后SLA从11点提前到8点,彻底告别大促T+2看数历史。

•用增业务反馈,新模型融合了所有端上数据,字段统一,使用方便。

•搜推业务反馈,SLA相比之前至少提前1小时,数据链路执行时效非常稳定。

…

6 总结与展望

流量资产在湖仓一体架构的转型落地,解决流量资产在原Lambda架构下离在线数据对不齐,计算及存储架构范式不统一等问题,流批数据同源同模型,并额外提供了近实时增量数据,提升用户接入体验和效率,拓宽业务使用场景,目前总入湖数据量达120PB,数资团队和数据湖团队通过一系列优化确保该链路在首次大促整体运行平稳。

6.1 大促表现

大促期间,湖仓一体流量新模型全时段平稳运行、无延迟

以数据量最大的曝光模型为例,双十一大促期间曝光总量同比增长 79.7%;其中大促晚八高潮期,曝光峰值达 7.7亿条/min,均值达 4.5亿条/min。

备战压测大促实际峰值
入湖性能8亿+条/min7.7亿/min
入湖消费带宽30+GB/s23.5GB/s

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

大促(11月12日)SLA,相比旧模型,新模型时效更为稳定和日常差距不大。

模型Hive(旧模型)Hudi(新模型)SLA提前时间
订单00:2500:205min
浏览01:5500:3679min
点击01:2500:4243min
曝光02:4500:54111min

6.2 未来规划

除了本次在流量资产应用湖仓一体的能力外,数资团队与数据湖团队还会继续合作,在以下一些场景加强建设和应用。

生产环境流读流量数据实践

如果能实现流读->入湖完整串起整条链路,则为批流一体打下基础,但目前还未在生产环境验证过流读,主要原因为1.部分场景不具备流读能力(数据量过大处理不过来,或者上游并发写入),2.流读的窗口期,依赖上游的表配置,如何确保下游能流读完整也是要着重考虑的。

纯外键关联PartialUpdate能力

当前的PartialUpdate能力是基于主键进行局部更新,但在数仓模型开发中存在大量需要通过外键关联更新的场景, 为方便业务使用一般会在事实宽表中冗余存储维表的主键和维度列,如果维表发生变更,一般需要重刷事实表记录,而基于外键的PartialUpdate利用湖表主键、外键索引的能力实现高效的流式局部更新,减轻额外计算层关联开销,加速数仓外键关联场景的模型加工效率。

Hudi秒级别实时能力

数据在入湖时,先写入数据文件和元数据,提交事务成功后数据才可见,数据文件的写入比较慢,因而一般为分钟级提交。这里可以扩展湖表多模态IO的能力,将数据写入到Kafka、HBase、Redis等高速存储中,在湖表的元数据中记录高速存储的位点、key等元信息。在读取时再持久存储与高速存储的内容联合到一起,从而使Hudi实现秒级别时延。

相关推荐

京东云推出全新JoyCode智能编码工具,让AI Coding从代码生成走向成果交付

全新JoyCode结合项目背景与任务目标,通过Agent Loop持续规划、执行、验证与迭代,并支持多智能体并行协作、模型灵活配置及工具与流程复用,贯通从需求分析到开发验证的任务链路,推动AI Coding从代码生成走向可运行软件与可用工具的成果交付。模型使用的关键,不只是选择更强的能力,而是让投入与任务需要相匹配。作为面向严肃开发场景的企业级编码产品,京东云JoyCode所拓展的,不只是代码生成的能力,更是将专业经验与日常灵感付诸实现的路径,让技术承接实现过程中的繁复,让人更专注于问题、判断与创造。

京东科技开发者 41

GPT-6凌晨上线智能UI:智能UI时代的技术架构重构与应对之道

从命令行到图形界面,计算机行业用了三十年证明了同一件事:人类需要视觉的、空间的、可重复的交互表面,纯文字从来只是过渡形态。智能界面的出现,意味着AI行业第一次大规模承认了这个规律——对话是创造的接口,界面是使用的归宿。生成的界面如何稳定下来?个人的数据与身份如何安全地沉淀?Agent的行动能力如何可信地放大?谁能把这三个问题答好,谁就站在了Personal Agent图形界面时刻的浪潮之巅。

京东科技开发者 224

AI 会写代码之后,交付为什么还没变快?

AI 写代码,只是这场变革的起点,而不是终点。真正决定一个组织能否吃到 AI 红利的,不是"能不能用 AI 写出代码",而是敢不敢用 AI 重新设计交付流程、重新划分角色分工、重新组织团队结构。研发视角能把工具和个人推到极致,却会在组织的边界前止步;只有站上组织视角,把AI × 工具一路推进到AI × 组织,那些被 AI 照出来的摩擦,才会真正被抹平。国际技术部 Multi AI Native 想做的,正是这件事——让 Agent 成为你可靠的数字战友,让每一次迭代交付都快一个量级;

京东科技开发者 313

OxygenData-Vibe搭建:用 AI Coding重新定义数据看板搭建

长期以来,数据看板开发主要有两种方式:一种是使用标准化 BI 工具,交付快、成本低,但图表样式、交互体验和功能扩展都受限于 BI 本身的能力;另一种是自研定制开发,能够充分满足复杂和个性化需求,但需要投入大量研发资源,交付周期也更长。比如一个通过 BI 只需要 1 天就能搭建出来的看板,如果采用自研方式,可能需要投入 30 PD 的研发人力。既然 BI 交付这么快,为什么不把所有看板需求都交给 BI?原因在于,业务某些场景需要的不只是把数据展示出来。

京东科技开发者 375

当我谈数据库高可用时我谈些什么

大家都经常听到说数据库的双1,那双1指的是什么呢?参数=1(最安全)≠1(更快但可能丢)每次提交都把 redo 刷盘0/2:攒着刷,崩溃丢最近 1 秒每次提交都把 binlog 刷盘0/N:攒着刷,崩溃丢最近若干条"双 1"(都设为 1)= 单机不丢已提交事务的前提。生产核心库必须双 1;代价是每次提交两次 fsync。小结:单机层用 WAL 提速、用 2PC 保证 redo/binlog 一致、用崩溃恢复裁决半成品事务、用双 1 兜底持久性。

京东科技开发者 320

ScoAI:面向供应链的运筹原生决策智能

ScoAI 关注的并非 AI 能否进入供应链,而是 AI 参与供应链决策之后,哪些内容适合通过数据学习,哪些关系必须显式计算,以及哪些结果需要依据执行记录进行验证。其基本分工是:供应链业务定义问题、资源与行动后果,运筹学表达目标、约束和协同关系,AI 提供可复用的估计与判断。真正用于改进后续决策的,不仅是模型生成的初始结果,还包括实际采取的行动及其产生的业务反馈。

京东科技开发者 406

拆解海博 AI-Native 落地保障:海博团队 AI 知识库能力建设

绕了一大圈,回头看,我们其实一直在解开头那三个结:AI 读不懂系统、影响面靠人脑记、测试预期没处查。做到这里,本质上是把"AI 用不好"这个问题,从"是不是该换个更强的模型"重新定义成了"怎么把上下文经营好"。顺着这个思路,我们攒下了这么几样东西:•。

京东科技开发者 562

从零构建一个生产级记忆型 AI Agent —— AgentScope 项目全景技术与学习指南

domain 层端口接口(domain)职责适配器实现(infra)对话流水账读写经验记忆检索/落库请求级幂等四态会话元数据 CRUD会话级 Skill 选择态Skill 元数据HITL 权限网关(domain 内含逻辑,见第四篇)StreamSink技术中立的流式下沉(client 层桥接)以幂等端口为例,头部注释明确写道:实现 domain 端口,持有实体不出 infra 边界,对外只暴露嵌套视图GateResult。

京东科技开发者 615

数据涅槃:Agentic 重塑搜推数据生产体系

当前大模型已经能够理解需求、生成代码和解释错误,但数据生产的难点并不只是“写出一段 SQL”。一个需求还要经过数据源确认、口径澄清、加工编排、资源规划、任务提交、调度运行、结果交付和故障处置。任何一步缺少都可能让“看起来正确”的任务变成生产事故。

京东科技开发者 382

81.8 秒的视频,我们改了 15 个版本:一次纯 Codex 驱动的 AI-native 视频实践

81.8 秒、15 个版本,这些数字真正想说明什么?视频制作正在从一组专业软件里的复杂操作,变成一场围绕目标、参考和反馈展开的持续对话。AI 已经可以接住从脚本到交付的大量工作。你可以把精力留给更重要的部分:理解观众、选择故事、判断好坏。过去停在 PPT 和脑海里的想法,现在有机会被快速做成一支能看、能改、也愿意转发的视频。如果明天就要介绍你手头的项目,你最想先把哪一步交给 AI?

京东科技开发者 469

Codex 驱动的移动端AI全栈开发:从 Relay 原型图到可交付链路

AI 编程工具降低了跨端开发门槛,但“让 AI 写页面”并不等于“完成移动端交付”。PC 运营端页面通常以功能闭环为中心,设计约束较弱,研发可以基于组件库快速搭建;移动端 C 端页面直接面对用户,Relay 原型图和 UI 设计稿不仅是视觉参考,更是交互、信息层级、状态反馈和业务信任感的综合契约。

京东科技开发者 595

Claude Code vs Codex 记忆体系深度对比

Claude Code —— 分层自动记忆系统四层分层架构(CLAUDE.md / Auto Memory / Session Memory / AutoDream)构成自优化闭环,系统主动捕获、分类、去冗并跨会话接力经验。走的是自动化优先路线——让机器替人记忆、替人整理,以少量可控性的不确定换取强大的经验积累能力。Codex —— 声明式契约系统两层扁平架构(AGENTS.md 静态声明层 + 会话上下文层),记忆完全由人显式订立、显式修改,系统只读契约、绝不擅自变更。走的是可控性优先。

京东科技开发者 631

上游给空、下游拿到 -1,我把故障一直追到了 commons-beanutils 的构造函数

这篇手记是一份事后复盘,写在我们已经把修复推上线、把测试用例跑绿、把约束文档沉淀进团队库之后。非研发同事,可以直接从第八章开始看,前七章都是讲排障和代码分析。故障本身不复杂,修复也不复杂,但这次排查真正让我想写下来的,不是技术本身——而是从问题提报到解决全程AI的作用:问题定位:业务方反馈了一个异常单号说「下发失败」,一线运维同事直接在日志系统捞到相关的系统日志,用IDE打开下游代码库,把异常信息给到JoyCode——AI 直接指向了问题是serialType值非法,系统只接受0和1,而当前上游给的是-1。

京东科技开发者 720

SKill测评:谁才是真正的Skill之王?

巧合的是,阿里近期开源了一款名为 Skill-Up 的测评工具——它专门面向 Agent Skill 开发者,支持在 Claude Code、Codex、Qoder CLI 等真实 Agent Engine 环境中验证 Skill 的功能正确性,并可将失败用例转化为精准的修复指引,同时支持本地与 CI 环境的持续回归。2026年,Skill 的热度不减,已成为 AI 辅助编程领域的标配。在日常研发中,无论是沉淀个人经验,还是将团队的优秀范本标准化,将知识“蒸馏”为 Skill 已是大家的常规操作。

京东科技开发者 640

让AI真正参与工作!JoyDesk已上线京东云

JoyDesk提供覆盖AI资产管理、权限控制、安全策略、审批审计、运营监控等企业级治理能力,支持按组织、角色和项目进行精细化权限管理,并支持私有化部署,确保企业数据边界清晰、AI行为全程可追溯、安全策略灵活可配置,满足金融、政企等行业对数据安全和合规治理的要求,让AI真正成为企业可信赖的生产力。JoyDesk支持MCP协议、标准API、技能等多种开放接入方式,可快速连接企业现有业务系统,将业务能力封装为AI可调用的技能和专家,让AI能够理解业务流程、调用业务系统、完成业务任务,而无需改变企业原有IT架构。

京东科技开发者 674

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手【最终版】

这个项目展示了AI Agent 在垂直内容创作领域端到端自动化:从内容理解到播客输出,全流程 AI 驱动多模态融合:文字、图片、音频、视频统一处理专业级音频质量:音色设计 + 智能混音,输出广播级品质低门槛使用:可视化配置 + 自然语言交互,无需技术背景。

京东科技开发者 563

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(高级篇)

这是一个 AI 驱动的播客创作助手,专注于从文字/视频/音频内容识别到播客制作的全流程。你可以用自然语言与它对话,也可以上传视频和音频,它会理解意图、调用相应的语音合成工具,把他们变成真实的播客音频。

京东科技开发者 728

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(进阶篇)

这是一个AI 驱动的音频内容创作助手。你可以用自然语言与它对话,它会理解意图、调用相应的语音合成工具,把文字变成真实的播客音频,并保存在本地。关于项目的详细介绍见第一篇文章:第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)这篇文章更多介绍进阶篇添加的功能。

京东科技开发者 552

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)

这个项目让我第一次把前端、后端、AI Agent 三块内容独立串联起来。技术选型上每一块都是当下主流的方案,实际跑通整条链路之后对"全栈"有了更具体的感受。框架版本要锁定:LangChain 这类快速迭代的框架,版本差异带来的问题远比你想象的多先跑通链路,再追求完美:新手阶段能把用户输入 → AI 处理 → 结果展示这条链跑通,比深入某个技术点更有价值多看官方文档:相比博客和教程,官方文档更新及时,特别是 LangGraph 这种新框架后续计划继续迭代,欢迎交流!

京东科技开发者 610

ICLR 2026 | 面向序列决策的贝叶斯集成方法

在这篇工作中,我们关注的是。

京东科技开发者 296

ICML 2026|NaviAgent:面向 Oxygen 智能体的可扩展工具编排

大型语言模型(LLM)越来越多地作为函数调用代理,调用外部工具来处理超出其静态知识范围的任务。然而,它们通常一次只调用一个工具,缺乏对任务结构的全局视图。由于工具之间往往相互依赖,这会导致错误累积和可扩展性差,尤其是在扩展到数百或数千个工具时。为了解决这些局限性,我们提出了NaviAgent,一种显式的双层架构,它通过基于图的工具关系建模将任务规划与工具执行解耦。在规划层,基于 LLM 的代理决定是直接响应、澄清意图,还是检索并执行一个独立于工具间复杂性的工具链。

京东科技开发者 389

实测 9 款 AI 架构图工具:从 Mermaid 美化到 GPT-Image2,一份选型清单

支持 5 类图(架构图、工作流图、时序图、数据流图、生命周期/状态机图),主题 4 种(Classic、Signal Flow、Blueprint、Editorial)+ 3 种色彩模式(Dark / Light / System Auto),输出格式含 HTML、PNG、SVG、WebM、Share Card PNG、JSON IR。它把提示词图库、图像生成案例、参考图编辑流程和命令行工具整合在一起,让 AI Agent 能直接调用 GPT Image 2 模型完成文生图、图生图、参考图编辑等任务。

京东科技开发者 906

别再守着 Claude Code 了——学会指挥它自主干活

回到开头那句:别再一句一句地喂它、然后守着屏幕。真正的用法是——把一件事想清楚、划好边界、给它一个能自我验证的目标,然后交出去。你会发现,省下来的时间不是一点半点。把重复的判断和执行还给机器,把真正需要你的判断留给自己。

京东科技开发者 587

CVPR 2026|Oxygen XR 团队在原生鱼眼高斯泼溅技术上带来新突破

京东零售技术团队联合清华大学提出DirectFisheye-GS框架,创新性地将鱼眼相机模型原生嵌入3D高斯泼溅管线,通过跨视角联合优化策略直接处理鱼眼图像,避免了传统去畸变预处理导致的信息损失。该方案在多个公开数据集上达到SOTA性能,有效解决了单视角优化引起的几何畸变和视角不一致问题,同时保持与现有3DGS工具链的兼容性。技术已应用于电商3D重建和4D体积视频等场景,显著提升了沉浸式体验。相关论文被CVPR 2026接收,为宽视场场景重建提供了高效解决方案。

京东科技开发者 355

拆解海博 AI-Native 落地保障:Harness、双 Loop、知识库与技能自主迭代实践

海博研发RoadMap 的落地,彻底终结了 AI 编程“对话式玄学”的旧模式,真正落地了AI Native 研发工程化。它证明 AI 规模化赋能研发的核心,不在于堆砌大模型能力,而在于用工程思维重构 AI 的工作范式:用结构化流程替代随机对话,用固化规则约束模型行为,用持续沉淀实现能力复利,用分层架构支撑规模化落地。

京东科技开发者 638

让 AI 快速「读懂」你的代码仓:Joy-Code-Graph 云端图谱服务的三次进化

代码知识图谱不是要取代 AI 的智能,而是要补齐它对代码全局关系的认知盲区。当 AI 能一眼看清「谁调用了谁、改动会波及哪里」,它写出的代码才真正靠谱;当这份认知安全地留在自己手里、随时被 Joygen 调用、并且永久沉淀在代码仓里——AI 编程的体验,才算真正上了一个台阶。这,就是我们做 Joy-Code-Graph 云端服务的初衷。能力共享,数据自主;一次建图,长期受用。

京东科技开发者 752

【Coding生态】从代码托管到 AI 能力底座:与Coding一起共建 AI 研发生态

前两种框架能够很好地支撑对话式能力和预设流程式能力。它们适合基于提示词或预设工作流完成研发问答、知识查询、流程编排等任务。但在更复杂的研发场景中,仅仅“回答问题”还不够。当用户业务逻辑复杂时,一旦场景进入真实落地阶段,例如下载代码、修改文件、执行命令、安装依赖、运行测试、读取完整代码文件,或者与自有系统联动、将结果渲染到 Coding 页面、推送到京 ME,AI 应用需要的不只是知识能力,还需要真实的代码库操作能力和独立可执行环境。

京东科技开发者 768

GPT-5.6、ChatGPT Work 与 Codex 更新食用指南

三档模型当前都提供 1,050,000 tokens 上下文、922,000 tokens 最大输入和 128,000 tokens 最大输出,接受文本与图像输入、输出文本,并支持 web search、file search、Computer Use、MCP、Tool Search、Skills、Apply Patch 等工具。Work 可以读取你提供的文件,通过插件连接 Slack、Google Drive、SharePoint、邮箱、日历、CRM 或项目系统,调用获批工具,并在执行中展示进度。

京东科技开发者 872

把业务流程沉淀成高质量 Skill 的实践路径

使用Record & Replay创建的Skill,尽管创建流程简单,但它的本质实际是让 AI 去操作页面,这不但有可能影响我们对电脑的操作,还有可能无法稳定复现。创建Skill时,可以使用 Codex 的 Record & Replay 插件,把一次手工操作录下来,再让 AI 生成可复用流程。刚开始切换时,很容易遇到接口报错,可以让Codex排查原因进行优化,直到可以稳定执行;补充相应业务背景,说明这件事为什么要做,谁会用,输入从哪来,输出给谁看。电脑休眠、关机、软件没开时,本地任务可能无法执行。

京东科技开发者 836

政企前台AI-Agent的架构实践:打造可复用的 AI 服务平台-【灯塔计划】

不止是爆火的龙虾,还是各种Skills,MCP、Agent,脱离的具体的场景谈方案,最后只会是一场空。这一套可复用的 AI 服务平台,截止目前,通过前后端对接规范文档,多项能力已快速接入到各个场域的不同端平台,大幅降低研发成本, 并且各业务线新场景的接入从原来的 “开发驱动” 转为 “配置驱动”,接入周期从天维度缩短至小时级。

京东科技开发者 864
上一篇: 本地(或自下载)浏览器插件 安装指南
下一篇: 【A/B实验常见问题】实验异常值应该如何处理?
京东云开发者
京东云开发者 企业官方账号 企业官方账号
博客等级 码龄8年 1万+粉丝 2141原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值