京东零售基于Flink的推荐系统智能数据体系 |Flink Forward Asia 峰会实录分享

京东推荐系统的数据体系极其复杂,从召回、模型到策略和效果评估,每个环节都需要强大的海量数据处理能力支撑。然而,在实际运行中,整个数据链路面临着诸多挑战:如实时与离线数据的埋点口径不一致、数仓模型存在偏差、计算口径不统一等问题,都会直接影响推荐效果的优化。更棘手的是,由于数据来源多样、体量庞大,整个推荐系统的数据质量控制和校验机制往往难以得到有效保障。

京东零售技术专家张颖参与Flink Forward Asia 2024 峰会带来分享《京东零售基于 Flink 的推荐系统智能数据体系》,介绍了基于Flink构建的推荐系统数据,以及Flink智能体系带来的智能服务功能。

以下是分享实录:

01

推荐系统架构

图片

推荐系统通常包含推荐服务,这一服务提供了推荐系统的出口,基于此接口,能够实现多种推荐场景,如个性化推荐、热门推荐、新品推荐以及多样化推荐等。此外,我们关注的推荐系统的关键模块主要划分三个:召回模块、模型(粗排、精排、重排等)及策略。在召回及策略模块中,召回服务的作用是将推荐系统底池数据规模从亿或者百亿级别降低至千万级。

以电商场景为例,常见的召回方式包括行为召回、搜索词热门召回以及  I2I  召回等上百路召回。模型主要涉及粗排、精排与重排这三个环节。当然,某些特定功能既可以归类到模型服务,也可划分至策略模块。至于策略模块,其中会涵盖混排相关内容,比如搜推混排、推荐与广告混排、搜索与广告混排等。混排过程中可能还涉及  CVR(转化率)、CTR(点击率)等多目标排序,以及流量扶持等策略。

接下来,我们看看推荐系统的智能数据体系构成,该体系的数据底层大致由五部分组成,分别是索引、特征、样本、可解释性内容以及指标,后续将详细阐述每个模块的具体功能。这些数据主要服务于推荐系统的召回、模型、策略等链路,进而支持相关场景,如常见的搜索、推荐、广告推广以及用户增长场景。

02

索引

2.1 什么是索引?

图片

接下来详细介绍京东搜索推荐系统智能数据体系的构成,第一个模块为索引,主要为召回服务提供数据支持。常见的索引构建流程是,从底池数据出发,经过索引构建操作,将构建完成的索引提供给召回服务。 索引常见类型可划分为三类:

(1) 个性化索引:这类索引可能涉及特定用户或某类用户的行为足迹或者是基于品类、品牌偏好形成的索引。

(2) 基础索引:以京东海量商品为例,可将其归纳为基于品类、品牌的索引,同时还包括时间、LBS相关的索引。

(3) 策略索引:此类型索引可能涉及流量扶持相关策略,如冷启动索引、低曝光商品索引等,此外还包括兜底索引。

图片

接下来介绍一下什么是索引数据,索引数据主要分为正排数据与倒排数据,正排数据,本质上是将商品的各项属性依次排列,这也是大家通常所指的正排形式;倒排数据,则是依据属性信息,把相应的商品作列表作为值进行存储。

2.2 索引架构

图片

下面我们来分析常见的索引架构:索引主要由实时索引、增量索引和全量索引三部分构成,这三部分在保障索引稳定性方面相互补充。例如,若增量索引出现故障,实时索引和全量索引可继续维持;若实时索引失效,增量索引能够发挥作用;索引更新频率并非固定为小时级,也可以是15分钟级等其他时间粒度。

在索引构建过程中,一般从实时链路着手,首先从上游  Kafka 消息队列获取相应数据,对数据进行解析与去重处理;之后,可能还需补充属性信息,如 SKU  对应的商品品牌及标签属性,处理后的数据写入Kafka,供下游索引服务读取并构建实时链路索引;增量索引通常按小时或者分钟级更新,实时索引数据会实时写入  OLAP ,在 OLAP  中补齐实时属性,比如计算商品前一小时或前五分钟的点击量等,完成正排计算后,基于正排结果进行倒排计算,进而进行构建索引,并将数据存储到索引服务中;天级增量索引的流程与小时分钟级类似,只是涉及的数据范围可能更广。全量索引的更新周期一般为天级、周级或月级等。

03

样本

3.1 样本开发架构

图片

接下来,我们探讨样本的整体开发架构,其主要分为流式与批式两种方式。

在流式样本开发方面,主要操作是将曝光、点击等用户行为数据中的关键信息与特征数据进行关联( Join ),关联后的数据向后发送,从而形成流式样本。这些流式样本会按小时级或分钟级进行落盘存储,如此便生成了增量样本,增量样本可用于模型的增量训练。

而批式样本的生成,是将用户行为表与特征表进行拼接,拼接后即形成批式样本。由于批式样本通常涵盖较长时间跨度的数据,因此这类样本又被称为离线样本。在训练模型(例如精排模型)时,仅使用几天或一周的数据往往是不够的,通常需要一个月、两个月甚至几年的数据。

在进行流式或增量训练时,会基于这个离线样本训练出初始模型(Model),然后再依据增量数据做进一步拟合(Fit)。在实时训练过程中,则会基于增量模型,继续对实时样本进行拟合。

3.2 样本特定场景

图片

我们来分析在样本构建过程中所涉及的各类场景,对于离线样本,通常会面临样本冷启动以及样本特征回溯的问题;而针对实时样本,可能遭遇的问题包括延时反馈以及样本采样方法的选择。

3.3 离线样本架构

图片

这里我们主要介绍下离线样本拼接,接下来我们看样本的离线架构,它与前文提及的架构大致相似,主要操作是将用户行为的离线label表与离线特征表进行批式拼接,进而生成天级样本表,随着日复一日的积累,这些天级样本表会形成月级样本,以此便可开展全量训练。然而,在此过程中会出现一些问题。例如,在全新的业务场景下,可能初始并无可用样本,此时就需要将诸如订单、点击等标签(  Label )的计算工作全部重新计算;此外,完成这部分操作后,还可能涉及生成特征(Feature  )宽表,这同样是基于全量数据且以月级为周期的特征处理,在进行这些数据计算和关联( Join )操作时,对算力的要求极高。

关于特征回溯,其操作与上述过程类似,即把  FN + 1 的新表与已有样本进行关联( Join  )。但此过程涉及特征计算,需要完整计算新表近一个月或几个月的特征数据,并且还需与之前的样本表进行行对齐。需要补充说明的是,在进行样本表关联(  Join )时,必须借助唯一标识组件 ID,如 Request ID 来实现对齐,如此关联后的样本表才能作为特征回溯的样本表。

3.4 实时样本架构-分阶段窗口

图片

接下来分析实时样本架构,它基于分阶段的窗口机制实现。首先,从  Kafka 接收用户行为的关键数据,经数据解析后,与同样经过解析(如 PB  解析)的特征数据进行拼接,在曝光与特征拼接环节,尽管这一过程实际速度很快,但为确保拼接的成功率,我们设置了五分钟的时间窗口,也就是说,只有当特征成功拼接到曝光数据后,数据才会继续向后传递,此时间窗口为五分钟;随后是曝光与点击的拼接环节,该环节时间窗口可设置为十分钟,即曝光发生后,若十分钟内未产生点击行为,相应数据将被视为负样本。再之后是曝光点击样本与加购和下单行为的拼接,此环节时间窗口设定为二十分钟。需注意的是,五分钟、十分钟和二十分钟这些时间窗口并非固定不变,而是可根据具体业务场景灵活配置。例如,在结算页场景中,用户决策时间相对较短;而在搜索或推荐场景下,用户考虑时间可能较长。

此外,时间窗口还可依据品类和品牌进行针对性配置。以电商场景为例,购买食品时,用户可能十分钟内就会下单,整个链路的时间窗口或许设置为十分钟至二十分钟即可,但购买家电时,用户考虑时间较长,一天可能都不够。当然,针对这种情况,虽可通过离线方式进行数据回补,但我们当前聚焦实时处理,期望通过分阶段窗口机制,尽可能快速地为模型提供样本。

再来看延时反馈问题。延时反馈本质上是为模型提供三个标签,即正标签、负标签以及一个修正标签。当数据到来时,先赋予其负标签,随后进入等待流程,通过判断时间,若发现时间已过特定期限,确定该数据实际应为正标签,但之前发送时可能误判为负标签,此时对这部分数据进行修正,即修正标签,并将其发送至实时样本流中。另外,在离线训练时,我们能够随意对样本数据进行  Shuffle 操作,这样可有效避免因数据不均衡给模型带来的问题。然而,实时场景下由于数据是流式传输,无法进行  Shuffle。因此,我们采用了一种配置策略,即将离线处理得到的部分数据与实时数据按一定Mix策略进行混合,然后发送至实时样本中。

3.5 实时样本架构-OnlineEvaluation

图片

下面我们来看实时样本的  Online Evaluation 模块,该模块主要应用于模型评估场景。实时样本的情况与上页 PPT  结尾部分大致相似,但在此过程中会涉及采样策略。在上页 PPT  结尾,我们提到将数据全部发送至Kafka,而实际操作中,我们会对数据进行95%和5%的采样。其中,95%的数据用于模型训练,5%的数据用于评估(Evaluation)。   在评估环节,又细分为实时评估与离线评估。之所以如此划分,是因为离线评估虽然不够实时,但实时评估在一定程度上无法起到全面指导的作用(实时评估有三种标签)。为综合两者优势,我们将评估工作分为离线和实时两部分,在进行离线评估时,只有当模型的  AUC  达到预先配置的数值,才会将模型推向线上应用;若未达到该数值,模型将立即重新进行训练。而在实时评估过程中,我们会持续监控模型数据,一旦模型准确率下降,系统便会马上发出警报,同时考虑是否需要对模型进行回滚操作。

接下来,我们探讨特征相关内容,着重分析整个特征开发过程中的难点。在推荐系统里,特征需求极为繁杂,这是因为特征开发与模型实验紧密相连、相辅相成,且特征开发的逻辑极为复杂。以京东电商场景为例,存在用户维度、Item  维度、Session  维度等不同维度的特征,同时还包含统计类、序列类等一系列丰富多样的特征类型。此外,特征回溯困难,正如前文所提及的,若要回溯前一个月的特征数据,不仅计算量巨大,而且所需耗费的时间周期也很长。

04

特征

4.1 实时特征开发架构(触发流架构)

图片

下面我们来看实时特征开发的架构,在我们内部,它被称作触发流架构。该架构将数据整体划分为三层:

第一层是行为接入层,此层主要涵盖各类用户行为的关键数据,例如用户在京东 APP 上的曝光、点击、浏览等行为数据,这些数据是整个实时特征开发的基础输入,记录了用户与平台交互的原始行为信息;

第二层是行为补全层。在这一层,我们会对前期的数据进行整合与补充。以点击行为为例,我们会将近三天的点击数据汇总;对于订单行为,则会整合近三年的数据,从而形成一条完整的行为记录,基于这些整合后的数据,我们可以计算出诸如点击商品列表、加购商品列表等用户行为数据。从商品角度看,我们也能获取商品的相关行为信息,比如商品被曝光的次数、被哪些用户曝光等信息可作为衡量商品是否优质的依据,例如,如果商品的曝光点击率较高,通常可认为它是优质商品;但倘若其曝光点击率高,然而下单率却很低,这时就需要深入分析出现这种现象的原因。

第三层是特征挖掘层。这一层基于上面的用户行为层来计算具体的用户/商品特征,其中包括统计类特征,比如通过获取用户行为list,计算近五分钟或近十分钟的点击量,通过依据时间维度进行数据筛选与计算,确保所得到的数据准确可靠。若某个用户在近五分钟内对某类商品的点击量极高,这表明该用户对这个品类具有浓厚的兴趣,基于此,我们在推荐时,就可以考虑向该用户着重推荐该品类下的优质商品。

此外,还有用户的序列特征,我们将其细分为长期序列和短期序列。由于在第二层已经完成了数据的补齐工作,所以在这一层计算长期序列和短期序列特征时就变得相对简便,直接基于行为补全层的数据进行计算即可;对于商品而言,计算逻辑也是类似的。我们已经获取了商品相关的列表和计数信息,因此计算商品近五分钟的曝光数、点击数等数据也能快速完成。

在处理用户与商品的交叉特征时,无论是用户属性与商品品类的交叉,还是用户属性与商品品牌的交叉,相较于直接处理原始数据,在样本冷启动阶段以及特征调研阶段,这种分层架构计算交叉特征的方式都要高效得多。

4.2 特征在离线不一致 && 穿越解决方案

图片

下面我们来探讨特征方面常见的问题,主要包括离线不一致问题以及特征穿越问题,同时看看针对这些问题是如何解决的。

首先是在离线不一致问题,为确保在线和离线环境下特征的一致性,我们采用 SDK 的方式,即在线和离线计算均统一使用一套C++ 的 SDK 来开展特征工程,如此一来,在线和离线所生成的特征就能保持一致。

接着是特征穿越问题。针对这一问题,我们采用  Feature Dump  方案。具体做法是,基于埋点数据、用户数据以及商品数据进行特征开发,将开发好的特征存储起来,以此提供特征服务。在提供特征服务的过程中,每当用户请求模型时,系统会通过  Feature Dump  进行特征快照,将用户当时请求时所涉及的一系列特征完整地记录下来,并将这部分特征输入到模型中供其使用,从而有效解决特征穿越问题。  此外,在提供特征服务时,可能会涉及离线样本的特征计算。如果分别使用 C++ 和 Java 进行计算,可能会因精度问题导致特征不一致。而统一使用  C++ 的 SDK 进行计算,就能够避免此类问题的发生。这些计算出的特征,一部分用于Predictor,一部分则用于生成 Feature  样本的特征。

4.3 特征样本在离线 DIFF

图片

接下来分析特征样本在离线 DIFF问题,这在我们内部是一个较为棘手的痛点。 DIFF 本质上可归结为三个方面:其一,实时与离线数据的口径可能不一致;其二,实时与离线数据的解析方式或许存在差异;其三,实时与离线数据的计算过程也不尽相同。

先看前两个方面,即如何确保口径与解析的一致性。对于埋点口径和解析逻辑的一致性,我们需要将实时和离线数据统一到相同口径,具体而言,离线数据应完整源自实时数据,并且要保证埋点口径、过滤条件等方面完全一致,以此解决实时与离线数据的口径一致性问题。在解析环节,通过提供统一的  SDK 来实现,如此离线和实时就能保证解析算子的逻辑统一。

再谈计算环节,实时部分会涉及实时特征与实时样本,在进行实时特征计算时,我们会将属性特征与序列特征写入特征存储,进而提供特征服务;在样本场景下,由于涉及样本拼接,通常是多流拼接的过程,以京东场景为例,常常需要将用户行为的埋点日志与特征日志进行拼接,多的时候可能涉及七八个流;此外,还需解决超大窗口的问题,比如在业务场景中,将时间窗口设置为一天,以便与离线样本完整拼接。同时,样本纠偏和延时反馈等问题也需在计算过程中妥善处理。从工程实现角度,要确保在离线计算的一致性,这里主要涉及口径与采样问题。就采样而言,离线采样和实时采样有所不同。例如,离线采样能够计算全局正副样本比例为1:15,但实时采样难以做到,因为实时数据一旦流过便无法回溯。为此,我们采用相对易实现的方案,即在实时场景下,按照配置比例丢弃副样本(在京东场景中,副样本通常较多);离线场景下,同样要保证口径与解析的完全一致。离线场景也会涉及样本与特征的生成,如通过  Batch Join 生成离线样本宽表,并提供给下游制定样本策略,之后供给模型服务。

同时,还需关注质量与校验方面。在整个数据体系中,特征样本的分布必须保持一致。若某个特征的空值率升高,可能意味着在某个阶段出现了问题。另外,延时也需保持一致,正常情况下,特征的延时应在秒级,样本的延时为其  Window Size + 配置化的秒级。一旦延时增大,数据的时效性降低,会影响模型效果;针对特征样本的 Label DIFF  ,同样要实现离线与在线的差异监控,做到天级或秒级的实时监测,确保数据准确无误。所采用的技术手段包括保证数据源算子与解析算子的一致性,在多流拼接场景中,运用实时  Flink 中的 Union 加Timer 实现,同时还涉及大状态的优化以及离线 Join 的优化。

05

可解释

5.1 什么是推荐系统的可解释?

图片

接下来,我们看看在可解释性方面的工作。首先介绍一下推荐系统可解释性的概念,它主要分为三个方面:排序可解释、模型可解释以及流量可解释,这是我们内部划分的三个研究方向。鉴于今天的分享聚焦于  Flink ,所以我们主要探讨与 Flink 相关的排序可解释和流量可解释。

排序可解释,其核心在于阐释推荐系统的排序结果。具体做法是,详细记录物料从召回到过滤,再到排序策略等各个阶段的信息,以此作为可解释数据的基础。例如,当用户请求一次推荐系统服务时,需要记录召回的数据情况,包括从哪几路召回、具体召回了哪些数据,经过了哪些过滤环节,如曝光过滤;在粗排和精排过程中,输入粗排的特征有哪些、粗排返回了哪些数据、精排又返回了哪些数据,以及执行了哪些策略,都要详细记录。

模型可解释,主要是对推荐系统的模型结果进行解读。在这方面,我们重点实现了模型特征的解释,即从特征层面剖析模型链路对某些 SKU 得分高低的影响。

流量可解释,目前我们还处于建设阶段。它主要是从整体流量的宏观角度,也就是站在整个推荐系统的层面,来解释商品的差异。例如,分析京东为什么会出现商品分层现象,以及一些长尾商品被归为长尾的原因,究竟是因为未被召回,还是在排序过程中排序分数较低,从而导致未能获得曝光机会。

5.2 可解释系统架构

图片

下面我们来剖析可解释系统的架构。在可解释系统架构中,最左侧是模型可解释的应用,这里主要细分为 SKU 特征重要性、用户特征重要性以及全局特征重要性,在此不做过多赘述。

重点来看右侧底层的搭建。我们将用户的算法日志以及用户行为数据进行解析与展开处理后,写入  ClickHouse(CK)中。借助CK  强大的功能,我们能够进行多维度聚合操作,以及针对精细化场景案例的查询。例如,分析为何在情人节时系统会向用户推送丧葬用品类的鲜花。  在排序可解释方面,主要涉及一些常见场景的分析。比如,当用户发现某些商品未得到曝光时,通过排查若发现商品未被召回,就需要进一步分析是否应增加一路召回途径,或者检查某路召回是否出现故障。对于模型而言,若某个模型一直表现稳定,但突然某项得分持续下降,就需判断是否是模型本身出现了问题。针对策略方面,要分析策略是否存在问题,或者优势体现在何处。还有过滤环节,像曝光过滤的设置是否合理等,都能通过可解释系统进行深入分析。  流量可解释主要从两个方向展开。其一,全域的模型打分问题,即分析模型给出的分数是否合理。其二,SKU 流量对比的原因分析,例如,某些 SKU  的流量获取能力较强,像新发布的苹果17,其流量通常会高于新上架的普通苹果产品(这里所举例子虽较为极端,但旨在说明问题),我们可以从召回、模型、策略、过滤等多个维度全面分析此类问题,在这个架构中,Flink  发挥了重要作用,它实现了数据以天级为单位的 PB 级增长,并能做到实时入仓。而 Click  House则为我们提供了多维分析的查询功能,有效解决了排序可解释分析过程中面临的困难。 

5.3 排序可解释

图片

下面进一步详细介绍排序可解释。排序可解释主要由五个模块构成,分别是  Trace 链路、Debug 链路、用户画像、商品画像以及行为画像。 在这一过程中, Flink 发挥着关键作用,主要承担实时数据 ETL (  Extract,Transform,Load,即数据提取、转换和加载)功能。对于数据基石部分,我们会在排序服务器上部署 SDK 。该 SDK  能够将日志采集到消息队列中,而后续在进行 ETL时,则借助 Flink 来实现。值得一提的是,通过 Flink  的处理,数据能够做到实时入仓,且这一过程的延迟时间大约在秒级,确保了数据的高效处理与及时存储。 

5.4 流量可解释

图片

接下来深入探讨流量可解释。流量可解释大致分为三层架构。最底层是数据采集层,主要负责采集埋点数据以及用户行为数据,并借助 Flink 实现实时入仓功能,确保数据能够及时、高效地存储,为后续分析提供基础。

基于底层采集的数据,构建上层的流量可解释模块,该模块主要涵盖推荐系统整体流量的归因分析,例如针对召回、排序、策略等环节进行漏斗分析,以此洞察流量在各个关键节点的转化情况。同时,还涉及用户行为动线的建设,在此,需要明确区分用户行为动线与序列数据,序列数据通常包含京东平台上的主要用户行为,如曝光、点击、下单等,可能还包括一些更为精细的行为,像点击评论、点击大图等,而用户行为动线建设侧重于描绘用户在某一特定周期内的行为轨迹,例如用户从一个频道跳转至另一个频道,以及在此过程中所执行的一系列动作,将这些行为串联起来形成动线,为上层应用提供深入分析的依据。借助这些数据,可以开展多种业务操作。比如进行跟单操作,通过跟踪用户行为来优化业务流程,构建用户行为序列,为个性化推荐提供更精准的数据支持;实施特征回溯,以完善模型的特征数据;助力样本冷启,解决新业务场景下样本不足的问题。不过,目前流量可解释模块尚处于建设阶段,后续仍需不断完善和优化。

06

指标

图片

下面我们来关注指标方面的内容。在推荐系统里, Flink 主要实现了指标的实时化维度。整个指标体系的构建,是先通过 Flink 将埋点数据导入 OLAP 系统,基于这些数据,我们能够从多个维度展开指标分析,例如,从实验维度、品牌品类维度等,所计算的指标丰富多样,涵盖 UCTR、UCVR、GMV、单量以及流动性等关键指标。大家不难发现,有些指标单纯依靠 OLAP 进行计算,可能会面临困难,以典型的 OLAP 系统 Click House 为例,当进行多表 Join 操作时,其性能会明显下降。所以,为了准确且高效地计算各类指标,除了 OLAP,我们还会借助 Flink 来完成其他指标的计算工作。

推荐系统的数据体系极其复杂,索引、样本、特征任何阶段的不一致都会导致推荐系统出现或大或小的case,本文从数据在离线一致性、系统可解释性等不同方面解释了这些问题产生的原因和京东的解决方式,欢迎一起讨论交流。

相关推荐

京东云推出全新JoyCode智能编码工具,让AI Coding从代码生成走向成果交付

全新JoyCode结合项目背景与任务目标,通过Agent Loop持续规划、执行、验证与迭代,并支持多智能体并行协作、模型灵活配置及工具与流程复用,贯通从需求分析到开发验证的任务链路,推动AI Coding从代码生成走向可运行软件与可用工具的成果交付。模型使用的关键,不只是选择更强的能力,而是让投入与任务需要相匹配。作为面向严肃开发场景的企业级编码产品,京东云JoyCode所拓展的,不只是代码生成的能力,更是将专业经验与日常灵感付诸实现的路径,让技术承接实现过程中的繁复,让人更专注于问题、判断与创造。

京东科技开发者 214

GPT-6凌晨上线智能UI:智能UI时代的技术架构重构与应对之道

从命令行到图形界面,计算机行业用了三十年证明了同一件事:人类需要视觉的、空间的、可重复的交互表面,纯文字从来只是过渡形态。智能界面的出现,意味着AI行业第一次大规模承认了这个规律——对话是创造的接口,界面是使用的归宿。生成的界面如何稳定下来?个人的数据与身份如何安全地沉淀?Agent的行动能力如何可信地放大?谁能把这三个问题答好,谁就站在了Personal Agent图形界面时刻的浪潮之巅。

京东科技开发者 233

AI 会写代码之后,交付为什么还没变快?

AI 写代码,只是这场变革的起点,而不是终点。真正决定一个组织能否吃到 AI 红利的,不是"能不能用 AI 写出代码",而是敢不敢用 AI 重新设计交付流程、重新划分角色分工、重新组织团队结构。研发视角能把工具和个人推到极致,却会在组织的边界前止步;只有站上组织视角,把AI × 工具一路推进到AI × 组织,那些被 AI 照出来的摩擦,才会真正被抹平。国际技术部 Multi AI Native 想做的,正是这件事——让 Agent 成为你可靠的数字战友,让每一次迭代交付都快一个量级;

京东科技开发者 323

OxygenData-Vibe搭建:用 AI Coding重新定义数据看板搭建

长期以来,数据看板开发主要有两种方式:一种是使用标准化 BI 工具,交付快、成本低,但图表样式、交互体验和功能扩展都受限于 BI 本身的能力;另一种是自研定制开发,能够充分满足复杂和个性化需求,但需要投入大量研发资源,交付周期也更长。比如一个通过 BI 只需要 1 天就能搭建出来的看板,如果采用自研方式,可能需要投入 30 PD 的研发人力。既然 BI 交付这么快,为什么不把所有看板需求都交给 BI?原因在于,业务某些场景需要的不只是把数据展示出来。

京东科技开发者 385

当我谈数据库高可用时我谈些什么

大家都经常听到说数据库的双1,那双1指的是什么呢?参数=1(最安全)≠1(更快但可能丢)每次提交都把 redo 刷盘0/2:攒着刷,崩溃丢最近 1 秒每次提交都把 binlog 刷盘0/N:攒着刷,崩溃丢最近若干条"双 1"(都设为 1)= 单机不丢已提交事务的前提。生产核心库必须双 1;代价是每次提交两次 fsync。小结:单机层用 WAL 提速、用 2PC 保证 redo/binlog 一致、用崩溃恢复裁决半成品事务、用双 1 兜底持久性。

京东科技开发者 325

ScoAI:面向供应链的运筹原生决策智能

ScoAI 关注的并非 AI 能否进入供应链,而是 AI 参与供应链决策之后,哪些内容适合通过数据学习,哪些关系必须显式计算,以及哪些结果需要依据执行记录进行验证。其基本分工是:供应链业务定义问题、资源与行动后果,运筹学表达目标、约束和协同关系,AI 提供可复用的估计与判断。真正用于改进后续决策的,不仅是模型生成的初始结果,还包括实际采取的行动及其产生的业务反馈。

京东科技开发者 410

拆解海博 AI-Native 落地保障:海博团队 AI 知识库能力建设

绕了一大圈,回头看,我们其实一直在解开头那三个结:AI 读不懂系统、影响面靠人脑记、测试预期没处查。做到这里,本质上是把"AI 用不好"这个问题,从"是不是该换个更强的模型"重新定义成了"怎么把上下文经营好"。顺着这个思路,我们攒下了这么几样东西:•。

京东科技开发者 566

从零构建一个生产级记忆型 AI Agent —— AgentScope 项目全景技术与学习指南

domain 层端口接口(domain)职责适配器实现(infra)对话流水账读写经验记忆检索/落库请求级幂等四态会话元数据 CRUD会话级 Skill 选择态Skill 元数据HITL 权限网关(domain 内含逻辑,见第四篇)StreamSink技术中立的流式下沉(client 层桥接)以幂等端口为例,头部注释明确写道:实现 domain 端口,持有实体不出 infra 边界,对外只暴露嵌套视图GateResult。

京东科技开发者 619

数据涅槃:Agentic 重塑搜推数据生产体系

当前大模型已经能够理解需求、生成代码和解释错误,但数据生产的难点并不只是“写出一段 SQL”。一个需求还要经过数据源确认、口径澄清、加工编排、资源规划、任务提交、调度运行、结果交付和故障处置。任何一步缺少都可能让“看起来正确”的任务变成生产事故。

京东科技开发者 388

81.8 秒的视频,我们改了 15 个版本:一次纯 Codex 驱动的 AI-native 视频实践

81.8 秒、15 个版本,这些数字真正想说明什么?视频制作正在从一组专业软件里的复杂操作,变成一场围绕目标、参考和反馈展开的持续对话。AI 已经可以接住从脚本到交付的大量工作。你可以把精力留给更重要的部分:理解观众、选择故事、判断好坏。过去停在 PPT 和脑海里的想法,现在有机会被快速做成一支能看、能改、也愿意转发的视频。如果明天就要介绍你手头的项目,你最想先把哪一步交给 AI?

京东科技开发者 473

Codex 驱动的移动端AI全栈开发:从 Relay 原型图到可交付链路

AI 编程工具降低了跨端开发门槛,但“让 AI 写页面”并不等于“完成移动端交付”。PC 运营端页面通常以功能闭环为中心,设计约束较弱,研发可以基于组件库快速搭建;移动端 C 端页面直接面对用户,Relay 原型图和 UI 设计稿不仅是视觉参考,更是交互、信息层级、状态反馈和业务信任感的综合契约。

京东科技开发者 598

Claude Code vs Codex 记忆体系深度对比

Claude Code —— 分层自动记忆系统四层分层架构(CLAUDE.md / Auto Memory / Session Memory / AutoDream)构成自优化闭环,系统主动捕获、分类、去冗并跨会话接力经验。走的是自动化优先路线——让机器替人记忆、替人整理,以少量可控性的不确定换取强大的经验积累能力。Codex —— 声明式契约系统两层扁平架构(AGENTS.md 静态声明层 + 会话上下文层),记忆完全由人显式订立、显式修改,系统只读契约、绝不擅自变更。走的是可控性优先。

京东科技开发者 632

上游给空、下游拿到 -1,我把故障一直追到了 commons-beanutils 的构造函数

这篇手记是一份事后复盘,写在我们已经把修复推上线、把测试用例跑绿、把约束文档沉淀进团队库之后。非研发同事,可以直接从第八章开始看,前七章都是讲排障和代码分析。故障本身不复杂,修复也不复杂,但这次排查真正让我想写下来的,不是技术本身——而是从问题提报到解决全程AI的作用:问题定位:业务方反馈了一个异常单号说「下发失败」,一线运维同事直接在日志系统捞到相关的系统日志,用IDE打开下游代码库,把异常信息给到JoyCode——AI 直接指向了问题是serialType值非法,系统只接受0和1,而当前上游给的是-1。

京东科技开发者 722

SKill测评:谁才是真正的Skill之王?

巧合的是,阿里近期开源了一款名为 Skill-Up 的测评工具——它专门面向 Agent Skill 开发者,支持在 Claude Code、Codex、Qoder CLI 等真实 Agent Engine 环境中验证 Skill 的功能正确性,并可将失败用例转化为精准的修复指引,同时支持本地与 CI 环境的持续回归。2026年,Skill 的热度不减,已成为 AI 辅助编程领域的标配。在日常研发中,无论是沉淀个人经验,还是将团队的优秀范本标准化,将知识“蒸馏”为 Skill 已是大家的常规操作。

京东科技开发者 641

让AI真正参与工作!JoyDesk已上线京东云

JoyDesk提供覆盖AI资产管理、权限控制、安全策略、审批审计、运营监控等企业级治理能力,支持按组织、角色和项目进行精细化权限管理,并支持私有化部署,确保企业数据边界清晰、AI行为全程可追溯、安全策略灵活可配置,满足金融、政企等行业对数据安全和合规治理的要求,让AI真正成为企业可信赖的生产力。JoyDesk支持MCP协议、标准API、技能等多种开放接入方式,可快速连接企业现有业务系统,将业务能力封装为AI可调用的技能和专家,让AI能够理解业务流程、调用业务系统、完成业务任务,而无需改变企业原有IT架构。

京东科技开发者 676

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手【最终版】

这个项目展示了AI Agent 在垂直内容创作领域端到端自动化:从内容理解到播客输出,全流程 AI 驱动多模态融合:文字、图片、音频、视频统一处理专业级音频质量:音色设计 + 智能混音,输出广播级品质低门槛使用:可视化配置 + 自然语言交互,无需技术背景。

京东科技开发者 564

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(高级篇)

这是一个 AI 驱动的播客创作助手,专注于从文字/视频/音频内容识别到播客制作的全流程。你可以用自然语言与它对话,也可以上传视频和音频,它会理解意图、调用相应的语音合成工具,把他们变成真实的播客音频。

京东科技开发者 728

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(进阶篇)

这是一个AI 驱动的音频内容创作助手。你可以用自然语言与它对话,它会理解意图、调用相应的语音合成工具,把文字变成真实的播客音频,并保存在本地。关于项目的详细介绍见第一篇文章:第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)这篇文章更多介绍进阶篇添加的功能。

京东科技开发者 553

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)

这个项目让我第一次把前端、后端、AI Agent 三块内容独立串联起来。技术选型上每一块都是当下主流的方案,实际跑通整条链路之后对"全栈"有了更具体的感受。框架版本要锁定:LangChain 这类快速迭代的框架,版本差异带来的问题远比你想象的多先跑通链路,再追求完美:新手阶段能把用户输入 → AI 处理 → 结果展示这条链跑通,比深入某个技术点更有价值多看官方文档:相比博客和教程,官方文档更新及时,特别是 LangGraph 这种新框架后续计划继续迭代,欢迎交流!

京东科技开发者 611

ICLR 2026 | 面向序列决策的贝叶斯集成方法

在这篇工作中,我们关注的是。

京东科技开发者 296

ICML 2026|NaviAgent:面向 Oxygen 智能体的可扩展工具编排

大型语言模型(LLM)越来越多地作为函数调用代理,调用外部工具来处理超出其静态知识范围的任务。然而,它们通常一次只调用一个工具,缺乏对任务结构的全局视图。由于工具之间往往相互依赖,这会导致错误累积和可扩展性差,尤其是在扩展到数百或数千个工具时。为了解决这些局限性,我们提出了NaviAgent,一种显式的双层架构,它通过基于图的工具关系建模将任务规划与工具执行解耦。在规划层,基于 LLM 的代理决定是直接响应、澄清意图,还是检索并执行一个独立于工具间复杂性的工具链。

京东科技开发者 389

实测 9 款 AI 架构图工具:从 Mermaid 美化到 GPT-Image2,一份选型清单

支持 5 类图(架构图、工作流图、时序图、数据流图、生命周期/状态机图),主题 4 种(Classic、Signal Flow、Blueprint、Editorial)+ 3 种色彩模式(Dark / Light / System Auto),输出格式含 HTML、PNG、SVG、WebM、Share Card PNG、JSON IR。它把提示词图库、图像生成案例、参考图编辑流程和命令行工具整合在一起,让 AI Agent 能直接调用 GPT Image 2 模型完成文生图、图生图、参考图编辑等任务。

京东科技开发者 910

别再守着 Claude Code 了——学会指挥它自主干活

回到开头那句:别再一句一句地喂它、然后守着屏幕。真正的用法是——把一件事想清楚、划好边界、给它一个能自我验证的目标,然后交出去。你会发现,省下来的时间不是一点半点。把重复的判断和执行还给机器,把真正需要你的判断留给自己。

京东科技开发者 587

CVPR 2026|Oxygen XR 团队在原生鱼眼高斯泼溅技术上带来新突破

京东零售技术团队联合清华大学提出DirectFisheye-GS框架,创新性地将鱼眼相机模型原生嵌入3D高斯泼溅管线,通过跨视角联合优化策略直接处理鱼眼图像,避免了传统去畸变预处理导致的信息损失。该方案在多个公开数据集上达到SOTA性能,有效解决了单视角优化引起的几何畸变和视角不一致问题,同时保持与现有3DGS工具链的兼容性。技术已应用于电商3D重建和4D体积视频等场景,显著提升了沉浸式体验。相关论文被CVPR 2026接收,为宽视场场景重建提供了高效解决方案。

京东科技开发者 355

拆解海博 AI-Native 落地保障:Harness、双 Loop、知识库与技能自主迭代实践

海博研发RoadMap 的落地,彻底终结了 AI 编程“对话式玄学”的旧模式,真正落地了AI Native 研发工程化。它证明 AI 规模化赋能研发的核心,不在于堆砌大模型能力,而在于用工程思维重构 AI 的工作范式:用结构化流程替代随机对话,用固化规则约束模型行为,用持续沉淀实现能力复利,用分层架构支撑规模化落地。

京东科技开发者 638

让 AI 快速「读懂」你的代码仓:Joy-Code-Graph 云端图谱服务的三次进化

代码知识图谱不是要取代 AI 的智能,而是要补齐它对代码全局关系的认知盲区。当 AI 能一眼看清「谁调用了谁、改动会波及哪里」,它写出的代码才真正靠谱;当这份认知安全地留在自己手里、随时被 Joygen 调用、并且永久沉淀在代码仓里——AI 编程的体验,才算真正上了一个台阶。这,就是我们做 Joy-Code-Graph 云端服务的初衷。能力共享,数据自主;一次建图,长期受用。

京东科技开发者 752

【Coding生态】从代码托管到 AI 能力底座:与Coding一起共建 AI 研发生态

前两种框架能够很好地支撑对话式能力和预设流程式能力。它们适合基于提示词或预设工作流完成研发问答、知识查询、流程编排等任务。但在更复杂的研发场景中,仅仅“回答问题”还不够。当用户业务逻辑复杂时,一旦场景进入真实落地阶段,例如下载代码、修改文件、执行命令、安装依赖、运行测试、读取完整代码文件,或者与自有系统联动、将结果渲染到 Coding 页面、推送到京 ME,AI 应用需要的不只是知识能力,还需要真实的代码库操作能力和独立可执行环境。

京东科技开发者 768

GPT-5.6、ChatGPT Work 与 Codex 更新食用指南

三档模型当前都提供 1,050,000 tokens 上下文、922,000 tokens 最大输入和 128,000 tokens 最大输出,接受文本与图像输入、输出文本,并支持 web search、file search、Computer Use、MCP、Tool Search、Skills、Apply Patch 等工具。Work 可以读取你提供的文件,通过插件连接 Slack、Google Drive、SharePoint、邮箱、日历、CRM 或项目系统,调用获批工具,并在执行中展示进度。

京东科技开发者 873

把业务流程沉淀成高质量 Skill 的实践路径

使用Record & Replay创建的Skill,尽管创建流程简单,但它的本质实际是让 AI 去操作页面,这不但有可能影响我们对电脑的操作,还有可能无法稳定复现。创建Skill时,可以使用 Codex 的 Record & Replay 插件,把一次手工操作录下来,再让 AI 生成可复用流程。刚开始切换时,很容易遇到接口报错,可以让Codex排查原因进行优化,直到可以稳定执行;补充相应业务背景,说明这件事为什么要做,谁会用,输入从哪来,输出给谁看。电脑休眠、关机、软件没开时,本地任务可能无法执行。

京东科技开发者 836

政企前台AI-Agent的架构实践:打造可复用的 AI 服务平台-【灯塔计划】

不止是爆火的龙虾,还是各种Skills,MCP、Agent,脱离的具体的场景谈方案,最后只会是一场空。这一套可复用的 AI 服务平台,截止目前,通过前后端对接规范文档,多项能力已快速接入到各个场域的不同端平台,大幅降低研发成本, 并且各业务线新场景的接入从原来的 “开发驱动” 转为 “配置驱动”,接入周期从天维度缩短至小时级。

京东科技开发者 864
上一篇: GAITC2025|张科:端云一体大模型推理应用实战
下一篇: 加锁失效,非锁之过,加之错也
京东云开发者
京东云开发者 企业官方账号 企业官方账号
博客等级 码龄8年 1万+粉丝 2141原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值