11.11大促背后的技术保障:SLA与SLO的深度解析与实践案例

作者:京东物流 冯志文

背景

又到一年的11.11大促日,最近很多团队邮件上下游确认SLA,你是不是还没搞明白服务质量SLA、SLO等概念?本文通过理论知识以及基于SLO告警治理的实践经验分享。详细介绍如何设置SLO、有效的告警泛滥治理、以及如何根据SLO的指标来指导11.11大促及优化服务性能和可靠性。

问题(1)

首次接触到了SLA(服务等级协议)的概念,其中承诺的响应时间是200毫秒。而服务接口的TP99(即99%的请求完成时间)超过了100毫秒,上游的超时配置却是2000毫秒。这之间存在何种联系呢?我感到有些困惑。后来在工作中逐步搞清楚了SLA的概念。

问题(2)

年初还有一个疑问一直困扰着我。例如,我负责的系统中的一个API接口的可用率是99.99%,那么在部门中,包含了N个系统和M个接口,部门的季度可用率是99.98%,这个数字又是如何计算出来的呢?统计的规则又是什么?我请教了XXX同学,给我解惑答疑,非常感谢!

问题(3)

比如我在XXX云购买了100台云主机,在10:00-10:05这5分钟内,有10台机器出现故障,导致API的对外可用率只有90%(在这5分钟内,总请求数为1万,失败的请求数为1000)。如果一个月30天,每天发生一次这样的5分钟,那么这可用率到底是多少呢?

带着以上的这些问题,研究了服务质量的指标:SLI(服务水平指标)、SLO(服务水平目标)和SLA(服务等级协议)。如果你也对上面的问题感兴趣,并且想找到答案,欢迎阅读本文,以下是我的研究成果,供大家参考,如果有不对的地方,还请大家指正。

一、服务质量术语

如果你不了解你负责的系统内部的各种行为的重要程度,并且无法度量这些行为是否正确的话,就无法正确的去运维系统,更不用说稳定可靠的运维了。不管是对外服务还是内部API,都需要制定一个针对用户的服务质量目标,并且努力去达到这个目标。

在这个过程中,我们需要根据历史经验,主观判断以及对服务的理解来定义一些 服务质量指标(SLI),服务质量目标(SLO),服务质量协议(SLA)以及这些指标的预期值和应对计划。

1)服务质量指标SLI (Service Level Indicator)

定义:该服务的某项服务质量的一个具体量化指标

常见的SLI包括:

1.可用率(成功响应的请求比例)

2.请求延迟的99%(TP99请求处理耗时)

3.吞吐量(每秒请求量)

4.持久性(数据能够保存的完整时间,常用于数据存储系统)

2)服务质量目标SLO (Service Level Objective)

定义:服务的某个SLI的目标值或者目标范围。

SLO的定义是SLI《目标值,或者 范围下限《SLI《范围上限。

设置服务水平目标(SLO)的好处主要体现在以下几个方面:

1.对于客户端而言,SLO提供了一种可预期的服务质量,这使得客户端的系统设计可以更加简单和稳定。客户可以根据SLO来规划和调整自己的业务流程,减少不确定性带来的影响。

2.对于服务提供者而言,SLO带来的好处包括:

1.可预期的服务质量:SLO可以帮助服务提供者明确服务质量的标准和目标,从而更好地管理和优化服务。

2.更好的成本/收益取舍:通过设定合理的SLO,服务提供者可以在资源投入和服务质量之间找到一个平衡点,实现更有效的资源利用和成本控制。

3.更好的风险控制: 当资源受限或出现故障时,SLO可以帮助服务提供者更好地控制风险,避免服务质量下降对业务造成的影响。

4.故障时更快的反应和采取正确措施:SLO可以作为一个参考标准,帮助服务提供者在故障发生时更快地发现问题并采取正确的措施,减少故障恢复时间。

选择一个合适的SLO是非常复杂的过程,难点是可能无法确定一个具体的值。 比如对外API,每秒查询数量QPS指标由用户决定的,我们并不能针对这个指标设置一个SLO。但是我们可以指定请求TP99时间小于20ms.确定这个目标可以鼓励开发者优化代码性能.

3)服务质量协议SLA( Service Level Agreement )

定义:指服务和用户之间的一个明确的,或者不明确的协议。描述了在达到或者没有达到SLO之后的后果。这些后果可以是财务的(赔偿)或者其他的。

区别SLO和SLA的一个简单方法是问:“如果SLO没有达到时,有什么后果?”,如果没有定义明确的后果。那么我们肯定是在讨论一个SLO,而不是SLA。

Google搜索服务是没有公开SLA的一个典型服务。

4) 云服务级别协议CSLA(Cloud Service Level Agreement )

详见第三章节

在这里插入图片描述

二、SLO实践案例

我们可以SLO实践案例来指导我们的稳定性建设。

1)服务分级&核心接口分级

分级规则

1、根据业务影响,应用分为0-3级

2、应用里面的接口再次细分0/1级,因为很多历史原因,很多0/1级系统内部N个接口,但M个接口是非核心的。或者2级应用里面有N个0级接口。 关注核心接口的健壮性(是否可用率治理完成,是否可降级,是否配置合理的限流值)

分级用途

•基于服务等级,要求核心服务遵守对应标准(比如代码评审,上线发布,变更流程,大促管控)。

•报警基于服务等级来做分级

•不同等级稳定性要求SLO不一样,如具备熔断降级能力等。

注意事项

1、全链路应用定级不统一:比如整个链路既有0级应用,也有1级别应用,还会存在很多3级应用

解决方案:推动下游更新应用等级

如下图,通过工具扫描0/1级依赖的下游等级应用是3级,

2、接口定级不统一:比如某个历史接口,A部门从自身角度出发认为接口不重要,但上游,上游强依赖,有时候出现线上故障后才知道该接口的重要性

解决方案:需要链路追踪,从用户视角(用户购物、物流一线操作业务)看影响,但这个有时候挺难的,尤其是历史接口,链路太长

3、接口可用率不准确:比如内部异常被catch吃掉了,没有反应到接口最外层,比如服务故障了半个小时,但ump可用率还是100%

解决方案:进行代码可用率治理,让API可用率是真实的。

2)SLI实践应用

选择能代表业务核心功能的API,按上面的业务分级模型对这些API定级,一般只度量L0、L1等级的业务和其接口。那么****应该定义哪些指标?为什么定义这些指标?这些指标是服务最重要吗?

比如UMP打点监控指标有:

1)方法性能:TP50,TP90,TP99,TP999,TP9999,MIN,MAX,AVG

2)方法可用率

3)方法调用次数

这些监控指标我们都需要作为SLI吗?答案肯定不是。只有理解用户对系统的真实需求才能真正决定哪些指标是否有用。指标太多会影响重要的指标,指标太少又会导致重要的行为被忽略。一般来说,3-5个具有代表性的指标对系统健康度的评估和关注足够了。

根据常见的服务SLI分为如下几类

类别描述SLI类型
API服务比如时效下传控制可用性(能否正常处理请求,请求成功率) 延迟(请求花费的时间是多少,一般关注TP99,黄金链路关注TP999、TP9999) 吞吐量(可以处理多少请求) 限流(是否可以限流,配置多少限流) 降级(服务是否可以降级)
消息队列比如JMQ吞吐量(处理了多少数据) 延迟(数据从生产到消费需要多少时间) 限流(是否可以限流,配置多少限流) 存储量(消息可以存储量积压多少)
存储服务比如mysql延迟(读写数据需要多少时间) 可用性(是否可以随时访问数据) 数据持久性(数据能保留多久)

3)SLO实践应用

我们应该从用户最关心的方面入手,而不是目前可以监控度量什么着手(当然目前UMP监控度量的维度已经很多,部分指标可作为SLI)。制定适当的SLO的第一步是讨论SLO应该是什么以及应该涵盖什么。SLO为服务的客户设置了目标可靠性级别。

为了更清晰的定义,SLO应该具体支持他们是如何被度量的,以及其有效条件。例如:99%(在1分钟时间范围内的请求汇总)的JSF-API调用会在200ms内完成(包括全部后端服务器)

服务名称业务描述接口名称TP99可用率吞吐量限流
XXXXXXXXcom.jd...*200ms99.95%5W/s5W/s

选择目标SLO策略建议

1.不要追求完美:不要以当前的运行状态为基础选择目标,而应该从全局触发,刚开始可以制定一个宽松的目标(前提满足用户),逐步收紧。比如目前API的TP99是8ms,对外SLO的TP99是10ms,如果后期接口内部逻辑改造,需求变更等导致API的tp99是20ms,则不满足SLO。

2.留出一定的安全区: 对内使用更高的SLO,对外使用稍低的SLO。这样可以留出一些空间来响应需求等。缓冲区buffer可以保护我们不会对用户产生直接影响。

您第一次尝试SLI和SLO不一定正确。最重要的目标是进行适当的测量并建立反馈环路,以便您进行改进。随着SLA的变更,系统架构不断的迭代演变(比如之前SLA的TP99是1000ms,你采用mysql架构存储数据,后面变成面向20ms,这时候的mysql架构就不适合了,需要演变为比如redis缓存等形式)

4)SLA实践应用

研发需要和业务产品同事综合考虑,目前内部通过邮件达成协议。外部云厂商则通过合同达成协议(保护未达到SLO的补偿条款)

三、云服务协议(可跳过)

对本章节内容不感兴趣的,可跳过

1)国家标准:信息技术 云计算 云服务级别协议基本要求

在这里插入图片描述

2)京东云主机服务等级协议(SLA)

在这里插入图片描述

3)阿里云服务器 ECS服务等级协议

在这里插入图片描述

4)AWS&Google云产品服务协议

在这里插入图片描述
在这里插入图片描述

四、API 网关服务等级协议

下面分别介绍不同厂商的API网关服务的可用率定义

1)京东云API 网关服务等级协议(SLA)

在这里插入图片描述

2)阿里云API 网关服务等级协议(SLA)

在这里插入图片描述

3)亚马逊云API网关服务SLA

在这里插入图片描述

五、基于SLO告警治理实践

SLO是可靠性决策的关键因素。 应用每天都有无数的报警通知,如CPU、内存、磁盘、可用率、MAX,tp99,tp999等,产生了大量噪音。但哪些报警会影响到可用性,需要SRE和研发关注呢?这就是SLO的核心价值之一了。

告警设定的目标: 根据SLO对重要的事件做出可操作性的告警。

告警设定的依据: 基于服务质量指标(SLI)和错误预算,对每一个消耗大量错误预算的事件发出重大事件的告警通知。

参考上面设定的SLO配置的报警信息如下:

1)API告警配置

我们可以通过设置合理的阈值和规则,过滤掉那些不必要的告警信息,从而避免告警噪音对开发运维团队的干扰,让他们更加专注于真正的问题。

•通过UMP实现3个黄金监控指标(可用率、调用量、TP99)

在配置报警机制时,我们可以综合考虑可用率、TP99以及调用量等因素来进行评估。通过这些指标的综合评估,可以帮助我们更全面地了解系统运行情况,从而及时发现潜在的问题并采取相应的措施。

建议在进行报警配置时,可先采取较为严格的策略,即先紧后松,逐步调整到最佳状态。这样可以确保在最开始阶段就能够及时发现问题,避免出现重大故障。但随着系统的逐渐稳定,我们也可以根据实际情况适当放宽报警阈值,以提高系统的可用性和效率。

需要注意的是,在进行报警配置时,我们需要结合具体的业务场景和系统特点来进行调整和优化。不同的系统可能存在不同的风险点和瓶颈,因此我们需要根据实际情况来制定相应的报警策略,以保证系统的稳定性和可靠性。

比如SLO:分钟级TP99是200ms,但你日常TP99在80ms,根据日常接口的行为,电话critical报警一定得配置<=200ms,warning可配100ms或者150ms等不断调整到最佳状态

critical告警方式:咚咚、邮件、即时消息(京ME)、语音 可用率:(分钟级)可用率 < 99.95% 连续 3 次超过阈值则报警,且在 3 分钟内报一次警。 性能:(分钟级)TP99 >= 200.0ms 连续 3 次超过阈值则报警,且在 3 分钟内只报一次警。

warning告警方式:咚咚、邮件、即时消息 可用率:(分钟级)可用率 < 99.99% 连续 3 次超过阈值则报警,且在 30 分钟内报一次警。 性能:(分钟级)TP99 >= 100.ms 连续 3 次超过阈值则报警,且在 30 分钟内只报一次警。 调用次数:当方法调用次数在 1 分钟的总和,连续 3 次大于 2000000 则报警,且在 3 分钟内只报一次警

备注:语音critical告警配置调用次数一般意义不大,因为如果你接口的可用率没问题,并且你的TP99也在预期内,按调用次数高又有什么关系呢。但warning配置调用次数有一个好处,比如你配置了JSF限流,目前JSF限流是触发了会报警,你可以在UMP或者Pfinder增加调用次数的阈值报警,比如设置为限流值的80%开始报警,这样可提前发现限流导致的风险点。同时通过调用次数也可知晓流量增长趋势

2)MQ告警配置

需要根据MQ延迟(数据从生产到消费需要多少时间)配置对应告警和应急预案

在这里插入图片描述

•生产者T(1)监控:生产者到MQ的时间监控

•消费者T(2.1)监控:通过MQ的积压报警配置进行监控。

•消费者T(2.2)处理逻辑监控:配置处理逻辑的UMP报警。

正常场景: T(3) > T(1) + T(2.1) + T(2.2) 其中T(3)包含读最终数据的耗时

积压报警的配置需要结合上述耗时公式,并且经过压力测试来确定。

假设在积压20,000消息的情况下,现有服务能力能够在N毫秒内处理完成,并且满足[ T(3) > T(1) + T(2.1) + T(2.2) ]的条件。那么,报警阈值可以设置为积压20,000消息以下,例如10,000 warning,15000 critical报警以预留处理时间。

例如,若[ T(3) = 2000ms ],日常[ T(1) ]的最大值为20ms,在积压20,000消息的情况下[ T(2.1) = 980ms ],[ T(2.2) = 1000ms ]。

3)定时任务告警配置

由于定时任务跟常规的JSF-API接口或者MQ不一样,定时任务是在规则约定的时间内执行,如果UMP是定时任务,最重要的一点就是确定好监控时段。只有正确地配置了监控时段,才能确保UMP在预计时间段内正常执行,这样一旦UMP未能在预计时间段内执行,就会自动触发报警机制,及时发现并解决问题。

比如xxx是每天的1点执行

我需要监控1点是否执行了

在这里插入图片描述

六、问题解答

通过阅读本文,相信你已经知道如何解答文章开始的3个问题了

1)SLA、TP99、超时时间的关系?

1.TP99没什么好说的,看接口的UMP打点即可,比如这图接口的TP99是10-15ms。

在这里插入图片描述

1.由于上游是下单前黄金链路,对性能要求较高。SLA(其实是SLO)我们对外承诺的TP99(分钟)是20ms,预留6ms的buffer

2.超时时间设置:超时时间可以设置在TP99(业务要求高的参考TP999、TP9999、MAX)(包含网络延迟)的基础上加上一定的缓冲时间。其中缓冲时间需要根据经验或监控数据等日常行为统计学,增加一个安全缓冲时间。例如,如果下游接口的TP99是200ms,您可能将超时时间设置为300ms到400ms。

3.重试次数设置:

◦下游接口必须支持幂等,方可重试

◦重试策略:根据业务场景和下游接口的稳定性来决定重试次数。一般来说,重试次数不宜过多(1-3次),以避免加重系统负担,同时要考虑重试后是否会不满足你对外的SLA指标,尤其下游出现超时严重的时候。

◦指数退避:使用指数退避策略,每次重试的间隔时间逐渐增加(例如,第一次等待1ms,第二次等待2ms,第三次等待4ms)。

4.实施和监控:监控实际的重试情况和超时情况,定期评估重试和超时策略对系统性能的影响。调整策略以适应实际情况。

请注意,设置超时时间和重试次数是一个需要平衡多个因素的决策过程。它需要考虑系统的稳定性、响应时间、资源使用和用户体验等多个方面。此外,任何重试策略都应该避免可能导致级联故障或资源耗尽的情况。

2)团队系统可用率是怎么计算的?

问题2:系统中的一个API接口的可用率是99.99%,那么在部门中,包含了N个系统和M个接口,部门的季度可用率是99.98%,这个数字又是如何计算出来的呢?

如A系统为黄金流程生产系统,因系统出现服务故障,导致生产业务无法操作,故障时长为A,影响业务占比率为B,则最终可用率故障时长为 C=A*B;

可参考问题3的计算公式

比如黄金链路故障时长150分钟,影响业务占比10%,折合系统不可用时长=15分钟。

则月度系统可用率=1-(故障总时长/统计周期总时长)100%=1-(15/3024*60)=99.96%

3)云主机&网关API可用率

问题3:比如在XXX云购买了100台云主机(按照云主机SLA),其中在10:00-10:05这5分钟,有10台机器有故障,导致API对外可用率是90%(5分钟之内总请求数1W,失败请求数1000)。一个月30天每天发生类似的5分钟1次。请问对用户来说可用率是多少?

从2个维度来解答

1.从提供基础服务的云服务等级协议来解答(这个不同云厂商基本是一致的)。

2.从面向用户的API角度来解答 (不同厂商定义公式不一样)

任何产品都不是,也不应该做到100%可靠,因为对用户来说99.999%和100%的可用性大部分没有本质的区别。那多少合适呢?可靠性目标需要考虑的因素:

1.服务可靠性要达到什么程度,用户才会满意?

2.如果可靠性不够,是否有其他替代选择?

3.服务的可靠程度是否会影响用户对服务的使用模式?

4.是否直接关系到收入?

5.服务是针对消费者还是企业?

厂商服务可用性义可用率
AWS“可用性” 每5分钟计算一次,是API Gateway处理的请求中未因错误而失败的请求百分比,如果你再5分钟内为请求,则任务100%可用 “每月正常运行时间百分比” 是指月度账单周期中所有5分钟时间段的可用性平均值。服务可用性=(1-服务周期内Σ每5分钟错误率/服务周期内5分钟总个数)x1 = (1-0.130/1224*30)=1-3/8640=0.9996=99.96%

七、 技术指标&业务指标

正如上面说的SLA定义了服务可用性、性能等技术指标。那么业务指标到底要解决什么问题?解决技术指标(可用率,tp99)看不到的问题。关注的是数据的正确性和完整性。

SLA的技术指标和业务监控的数据正确性通常是相互关联的。技术指标不可用,则肯定业务指标会不可用。相反如果业务指标不可用有异常,不一定技术指标不可用。 例如,如果一个系统的可用性低于SLA中定义的阈值,那么这可能会影响到业务流程的正常运行,从而导致数据错误或丢失。因此,为了确保业务连续性和数据准确性,SLA和业务监控通常需要共同考虑和管理。

八、「以终为始」SLA指导11.11大促备战

SLA可以作为一个强有力的工具,指导11.11大促的备战工作,明细如下:

1.明确服务目标: 上下游明确SLA(服务性能TP99、可用性、峰值QPS)等方面的承诺。这些目标应该与11大促的业务需求相匹配,例如峰值流量下的系统稳定性和快速响应能力。

2.制定备战计划: 根据SLA的要求,制定详细的备战计划,包括资源配置、系统优化、灾难如何快速恢复等。例如,如果SLA要求系统在高峰期的可用性达到99.99%,那么备战计划就需要考虑如何实现这一目标,你的容错方案、降级方案、应急预案等。

3.军演全链路压测和容量规划: 为了确保在大促期间满足SLA的要求,需要进行性能压测&军演全链路压力测试和容量规划。通过压测高流量场景,验证系统的性能和稳定性,并根据测试结果调整资源配置和系统优化策略。

4.监控和警报系统: 建立一个全面的监控和警报系统,实时跟踪服务的性能和健康状况。如果某个指标超出了SLA的阈值,系统应该自动触发警报,通知相关团队采取行动。

5.优先级管理: 在大促期间,根据SLA的重要性和影响范围,设定问题的优先级,确保最关键的服务得到优先处理。

6.团队协作和沟通: SLA要求各个团队之间的紧密协作和高效沟通。建立跨部门的协作机制,明确每个团队的职责和SLA目标,确保所有团队都朝着同一个目标努力。

7.持续改进: 11.11大促结束后,回顾整个过程,分析SLA的达成情况,找出改进的空间。将这些经验和教训应用到下一年的备战中,持续提升服务质量。


附:1)SLO文档示例

服务概述

常见的有API,MQ消息

APISLISLO
可用率根据负载均衡器指标衡量的成功请求的比例=成功请求量/总请求量99.95% 成功
延迟根据负载均衡器指标衡量的足够快的请求的比例。 “足够快”的定义是 < 200 ms,或 < 500 ms。持续时间小于或等于“0.2”秒的“api”请求 计数除以所有“api”请求 计数TP99(99%请求延迟时间 < 200 ms)
积压量(MQ考虑)根据MQ消息的积压量统计,积压量= 吞吐率 * 时效按峰值计算吞吐量:比如小时峰值360万/ 3600 =‬1000/s (大于此值开始发生积压,)

说明和警告

•请求指标是在负载均衡器上测量的。此度量可能无法准确度量用户请求未到达负载均衡器的情况。

•我们仅将HTTP 5XX状态或者约定的API Response里的Code错误编码消息视为错误代码;其他一切都算成功。

2)云服务级别指标

在这里插入图片描述

如果文中有任何不足之处,恳请各位不吝赐教,留言指正。谢谢大家的阅读和反馈!


相关文献

1、Google SRE 三部曲

在这里插入图片描述

2、国家标准全文公开系统《信息技术 云计算 云服务级别协议基本要求》

3、京东云服务协议:https://docs.jdcloud.com/cn/product-service-agreement/cloud-hosting-service-terms

4、AWS:什么是 SLA(服务等级协议)?https://aws.amazon.com/cn/what-is/service-level-agreement/

5、Google Cloud:Compute Engine Service Level Agreement (SLA)https://cloud.google.com/compute/sla

6、阿里巴巴服务等级协议:https://help.aliyun.com/document_detail/56773.html

7、华为云服务等级协议:https://www.huaweicloud.com/declaration/sla.html

8、腾讯云服务等级协议:https://cloud.tencent.com/document/product/301/103169


1、Amazon_API_Gateway_SLA:https://d1.awsstatic.com/legal/amazon-api-gateway-sla/Amazon_API_Gateway_SLA_2022-05-05-ZH_CN.pdf

2、京东云API网关服务等级协议(SLA):https://docs.jdcloud.com/cn/product-service-agreement/api-gateway-level-agreements-sla

3、阿里云API 网关服务等级协议(SLA):https://terms.alicdn.com/legal-agreement/terms/b_end_product_protocol/20230914095615293/20230914095615293.html

相关推荐

GPT-6凌晨上线智能UI:智能UI时代的技术架构重构与应对之道

从命令行到图形界面,计算机行业用了三十年证明了同一件事:人类需要视觉的、空间的、可重复的交互表面,纯文字从来只是过渡形态。智能界面的出现,意味着AI行业第一次大规模承认了这个规律——对话是创造的接口,界面是使用的归宿。生成的界面如何稳定下来?个人的数据与身份如何安全地沉淀?Agent的行动能力如何可信地放大?谁能把这三个问题答好,谁就站在了Personal Agent图形界面时刻的浪潮之巅。

京东科技开发者 220

AI 会写代码之后,交付为什么还没变快?

AI 写代码,只是这场变革的起点,而不是终点。真正决定一个组织能否吃到 AI 红利的,不是"能不能用 AI 写出代码",而是敢不敢用 AI 重新设计交付流程、重新划分角色分工、重新组织团队结构。研发视角能把工具和个人推到极致,却会在组织的边界前止步;只有站上组织视角,把AI × 工具一路推进到AI × 组织,那些被 AI 照出来的摩擦,才会真正被抹平。国际技术部 Multi AI Native 想做的,正是这件事——让 Agent 成为你可靠的数字战友,让每一次迭代交付都快一个量级;

京东科技开发者 311

OxygenData-Vibe搭建:用 AI Coding重新定义数据看板搭建

长期以来,数据看板开发主要有两种方式:一种是使用标准化 BI 工具,交付快、成本低,但图表样式、交互体验和功能扩展都受限于 BI 本身的能力;另一种是自研定制开发,能够充分满足复杂和个性化需求,但需要投入大量研发资源,交付周期也更长。比如一个通过 BI 只需要 1 天就能搭建出来的看板,如果采用自研方式,可能需要投入 30 PD 的研发人力。既然 BI 交付这么快,为什么不把所有看板需求都交给 BI?原因在于,业务某些场景需要的不只是把数据展示出来。

京东科技开发者 374

当我谈数据库高可用时我谈些什么

大家都经常听到说数据库的双1,那双1指的是什么呢?参数=1(最安全)≠1(更快但可能丢)每次提交都把 redo 刷盘0/2:攒着刷,崩溃丢最近 1 秒每次提交都把 binlog 刷盘0/N:攒着刷,崩溃丢最近若干条"双 1"(都设为 1)= 单机不丢已提交事务的前提。生产核心库必须双 1;代价是每次提交两次 fsync。小结:单机层用 WAL 提速、用 2PC 保证 redo/binlog 一致、用崩溃恢复裁决半成品事务、用双 1 兜底持久性。

京东科技开发者 318

ScoAI:面向供应链的运筹原生决策智能

ScoAI 关注的并非 AI 能否进入供应链,而是 AI 参与供应链决策之后,哪些内容适合通过数据学习,哪些关系必须显式计算,以及哪些结果需要依据执行记录进行验证。其基本分工是:供应链业务定义问题、资源与行动后果,运筹学表达目标、约束和协同关系,AI 提供可复用的估计与判断。真正用于改进后续决策的,不仅是模型生成的初始结果,还包括实际采取的行动及其产生的业务反馈。

京东科技开发者 405

拆解海博 AI-Native 落地保障:海博团队 AI 知识库能力建设

绕了一大圈,回头看,我们其实一直在解开头那三个结:AI 读不懂系统、影响面靠人脑记、测试预期没处查。做到这里,本质上是把"AI 用不好"这个问题,从"是不是该换个更强的模型"重新定义成了"怎么把上下文经营好"。顺着这个思路,我们攒下了这么几样东西:•。

京东科技开发者 561

从零构建一个生产级记忆型 AI Agent —— AgentScope 项目全景技术与学习指南

domain 层端口接口(domain)职责适配器实现(infra)对话流水账读写经验记忆检索/落库请求级幂等四态会话元数据 CRUD会话级 Skill 选择态Skill 元数据HITL 权限网关(domain 内含逻辑,见第四篇)StreamSink技术中立的流式下沉(client 层桥接)以幂等端口为例,头部注释明确写道:实现 domain 端口,持有实体不出 infra 边界,对外只暴露嵌套视图GateResult。

京东科技开发者 612

数据涅槃:Agentic 重塑搜推数据生产体系

当前大模型已经能够理解需求、生成代码和解释错误,但数据生产的难点并不只是“写出一段 SQL”。一个需求还要经过数据源确认、口径澄清、加工编排、资源规划、任务提交、调度运行、结果交付和故障处置。任何一步缺少都可能让“看起来正确”的任务变成生产事故。

京东科技开发者 379

81.8 秒的视频,我们改了 15 个版本:一次纯 Codex 驱动的 AI-native 视频实践

81.8 秒、15 个版本,这些数字真正想说明什么?视频制作正在从一组专业软件里的复杂操作,变成一场围绕目标、参考和反馈展开的持续对话。AI 已经可以接住从脚本到交付的大量工作。你可以把精力留给更重要的部分:理解观众、选择故事、判断好坏。过去停在 PPT 和脑海里的想法,现在有机会被快速做成一支能看、能改、也愿意转发的视频。如果明天就要介绍你手头的项目,你最想先把哪一步交给 AI?

京东科技开发者 467

Codex 驱动的移动端AI全栈开发:从 Relay 原型图到可交付链路

AI 编程工具降低了跨端开发门槛,但“让 AI 写页面”并不等于“完成移动端交付”。PC 运营端页面通常以功能闭环为中心,设计约束较弱,研发可以基于组件库快速搭建;移动端 C 端页面直接面对用户,Relay 原型图和 UI 设计稿不仅是视觉参考,更是交互、信息层级、状态反馈和业务信任感的综合契约。

京东科技开发者 592

Claude Code vs Codex 记忆体系深度对比

Claude Code —— 分层自动记忆系统四层分层架构(CLAUDE.md / Auto Memory / Session Memory / AutoDream)构成自优化闭环,系统主动捕获、分类、去冗并跨会话接力经验。走的是自动化优先路线——让机器替人记忆、替人整理,以少量可控性的不确定换取强大的经验积累能力。Codex —— 声明式契约系统两层扁平架构(AGENTS.md 静态声明层 + 会话上下文层),记忆完全由人显式订立、显式修改,系统只读契约、绝不擅自变更。走的是可控性优先。

京东科技开发者 627

上游给空、下游拿到 -1,我把故障一直追到了 commons-beanutils 的构造函数

这篇手记是一份事后复盘,写在我们已经把修复推上线、把测试用例跑绿、把约束文档沉淀进团队库之后。非研发同事,可以直接从第八章开始看,前七章都是讲排障和代码分析。故障本身不复杂,修复也不复杂,但这次排查真正让我想写下来的,不是技术本身——而是从问题提报到解决全程AI的作用:问题定位:业务方反馈了一个异常单号说「下发失败」,一线运维同事直接在日志系统捞到相关的系统日志,用IDE打开下游代码库,把异常信息给到JoyCode——AI 直接指向了问题是serialType值非法,系统只接受0和1,而当前上游给的是-1。

京东科技开发者 719

SKill测评:谁才是真正的Skill之王?

巧合的是,阿里近期开源了一款名为 Skill-Up 的测评工具——它专门面向 Agent Skill 开发者,支持在 Claude Code、Codex、Qoder CLI 等真实 Agent Engine 环境中验证 Skill 的功能正确性,并可将失败用例转化为精准的修复指引,同时支持本地与 CI 环境的持续回归。2026年,Skill 的热度不减,已成为 AI 辅助编程领域的标配。在日常研发中,无论是沉淀个人经验,还是将团队的优秀范本标准化,将知识“蒸馏”为 Skill 已是大家的常规操作。

京东科技开发者 640

让AI真正参与工作!JoyDesk已上线京东云

JoyDesk提供覆盖AI资产管理、权限控制、安全策略、审批审计、运营监控等企业级治理能力,支持按组织、角色和项目进行精细化权限管理,并支持私有化部署,确保企业数据边界清晰、AI行为全程可追溯、安全策略灵活可配置,满足金融、政企等行业对数据安全和合规治理的要求,让AI真正成为企业可信赖的生产力。JoyDesk支持MCP协议、标准API、技能等多种开放接入方式,可快速连接企业现有业务系统,将业务能力封装为AI可调用的技能和专家,让AI能够理解业务流程、调用业务系统、完成业务任务,而无需改变企业原有IT架构。

京东科技开发者 673

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手【最终版】

这个项目展示了AI Agent 在垂直内容创作领域端到端自动化:从内容理解到播客输出,全流程 AI 驱动多模态融合:文字、图片、音频、视频统一处理专业级音频质量:音色设计 + 智能混音,输出广播级品质低门槛使用:可视化配置 + 自然语言交互,无需技术背景。

京东科技开发者 563

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(高级篇)

这是一个 AI 驱动的播客创作助手,专注于从文字/视频/音频内容识别到播客制作的全流程。你可以用自然语言与它对话,也可以上传视频和音频,它会理解意图、调用相应的语音合成工具,把他们变成真实的播客音频。

京东科技开发者 728

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(进阶篇)

这是一个AI 驱动的音频内容创作助手。你可以用自然语言与它对话,它会理解意图、调用相应的语音合成工具,把文字变成真实的播客音频,并保存在本地。关于项目的详细介绍见第一篇文章:第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)这篇文章更多介绍进阶篇添加的功能。

京东科技开发者 552

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)

这个项目让我第一次把前端、后端、AI Agent 三块内容独立串联起来。技术选型上每一块都是当下主流的方案,实际跑通整条链路之后对"全栈"有了更具体的感受。框架版本要锁定:LangChain 这类快速迭代的框架,版本差异带来的问题远比你想象的多先跑通链路,再追求完美:新手阶段能把用户输入 → AI 处理 → 结果展示这条链跑通,比深入某个技术点更有价值多看官方文档:相比博客和教程,官方文档更新及时,特别是 LangGraph 这种新框架后续计划继续迭代,欢迎交流!

京东科技开发者 610

ICLR 2026 | 面向序列决策的贝叶斯集成方法

在这篇工作中,我们关注的是。

京东科技开发者 296

ICML 2026|NaviAgent:面向 Oxygen 智能体的可扩展工具编排

大型语言模型(LLM)越来越多地作为函数调用代理,调用外部工具来处理超出其静态知识范围的任务。然而,它们通常一次只调用一个工具,缺乏对任务结构的全局视图。由于工具之间往往相互依赖,这会导致错误累积和可扩展性差,尤其是在扩展到数百或数千个工具时。为了解决这些局限性,我们提出了NaviAgent,一种显式的双层架构,它通过基于图的工具关系建模将任务规划与工具执行解耦。在规划层,基于 LLM 的代理决定是直接响应、澄清意图,还是检索并执行一个独立于工具间复杂性的工具链。

京东科技开发者 389

实测 9 款 AI 架构图工具:从 Mermaid 美化到 GPT-Image2,一份选型清单

支持 5 类图(架构图、工作流图、时序图、数据流图、生命周期/状态机图),主题 4 种(Classic、Signal Flow、Blueprint、Editorial)+ 3 种色彩模式(Dark / Light / System Auto),输出格式含 HTML、PNG、SVG、WebM、Share Card PNG、JSON IR。它把提示词图库、图像生成案例、参考图编辑流程和命令行工具整合在一起,让 AI Agent 能直接调用 GPT Image 2 模型完成文生图、图生图、参考图编辑等任务。

京东科技开发者 906

别再守着 Claude Code 了——学会指挥它自主干活

回到开头那句:别再一句一句地喂它、然后守着屏幕。真正的用法是——把一件事想清楚、划好边界、给它一个能自我验证的目标,然后交出去。你会发现,省下来的时间不是一点半点。把重复的判断和执行还给机器,把真正需要你的判断留给自己。

京东科技开发者 587

CVPR 2026|Oxygen XR 团队在原生鱼眼高斯泼溅技术上带来新突破

京东零售技术团队联合清华大学提出DirectFisheye-GS框架,创新性地将鱼眼相机模型原生嵌入3D高斯泼溅管线,通过跨视角联合优化策略直接处理鱼眼图像,避免了传统去畸变预处理导致的信息损失。该方案在多个公开数据集上达到SOTA性能,有效解决了单视角优化引起的几何畸变和视角不一致问题,同时保持与现有3DGS工具链的兼容性。技术已应用于电商3D重建和4D体积视频等场景,显著提升了沉浸式体验。相关论文被CVPR 2026接收,为宽视场场景重建提供了高效解决方案。

京东科技开发者 355

拆解海博 AI-Native 落地保障:Harness、双 Loop、知识库与技能自主迭代实践

海博研发RoadMap 的落地,彻底终结了 AI 编程“对话式玄学”的旧模式,真正落地了AI Native 研发工程化。它证明 AI 规模化赋能研发的核心,不在于堆砌大模型能力,而在于用工程思维重构 AI 的工作范式:用结构化流程替代随机对话,用固化规则约束模型行为,用持续沉淀实现能力复利,用分层架构支撑规模化落地。

京东科技开发者 638

让 AI 快速「读懂」你的代码仓:Joy-Code-Graph 云端图谱服务的三次进化

代码知识图谱不是要取代 AI 的智能,而是要补齐它对代码全局关系的认知盲区。当 AI 能一眼看清「谁调用了谁、改动会波及哪里」,它写出的代码才真正靠谱;当这份认知安全地留在自己手里、随时被 Joygen 调用、并且永久沉淀在代码仓里——AI 编程的体验,才算真正上了一个台阶。这,就是我们做 Joy-Code-Graph 云端服务的初衷。能力共享,数据自主;一次建图,长期受用。

京东科技开发者 752

【Coding生态】从代码托管到 AI 能力底座:与Coding一起共建 AI 研发生态

前两种框架能够很好地支撑对话式能力和预设流程式能力。它们适合基于提示词或预设工作流完成研发问答、知识查询、流程编排等任务。但在更复杂的研发场景中,仅仅“回答问题”还不够。当用户业务逻辑复杂时,一旦场景进入真实落地阶段,例如下载代码、修改文件、执行命令、安装依赖、运行测试、读取完整代码文件,或者与自有系统联动、将结果渲染到 Coding 页面、推送到京 ME,AI 应用需要的不只是知识能力,还需要真实的代码库操作能力和独立可执行环境。

京东科技开发者 768

GPT-5.6、ChatGPT Work 与 Codex 更新食用指南

三档模型当前都提供 1,050,000 tokens 上下文、922,000 tokens 最大输入和 128,000 tokens 最大输出,接受文本与图像输入、输出文本,并支持 web search、file search、Computer Use、MCP、Tool Search、Skills、Apply Patch 等工具。Work 可以读取你提供的文件,通过插件连接 Slack、Google Drive、SharePoint、邮箱、日历、CRM 或项目系统,调用获批工具,并在执行中展示进度。

京东科技开发者 871

把业务流程沉淀成高质量 Skill 的实践路径

使用Record & Replay创建的Skill,尽管创建流程简单,但它的本质实际是让 AI 去操作页面,这不但有可能影响我们对电脑的操作,还有可能无法稳定复现。创建Skill时,可以使用 Codex 的 Record & Replay 插件,把一次手工操作录下来,再让 AI 生成可复用流程。刚开始切换时,很容易遇到接口报错,可以让Codex排查原因进行优化,直到可以稳定执行;补充相应业务背景,说明这件事为什么要做,谁会用,输入从哪来,输出给谁看。电脑休眠、关机、软件没开时,本地任务可能无法执行。

京东科技开发者 836

政企前台AI-Agent的架构实践:打造可复用的 AI 服务平台-【灯塔计划】

不止是爆火的龙虾,还是各种Skills,MCP、Agent,脱离的具体的场景谈方案,最后只会是一场空。这一套可复用的 AI 服务平台,截止目前,通过前后端对接规范文档,多项能力已快速接入到各个场域的不同端平台,大幅降低研发成本, 并且各业务线新场景的接入从原来的 “开发驱动” 转为 “配置驱动”,接入周期从天维度缩短至小时级。

京东科技开发者 864

京东 Oxygen xLLM 大模型推理引擎正式捐赠开放原子开源基金会,共建国产 AI Infra 生态

下一阶段 AI 基础设施的核心命题,不是简单的算力堆叠,而是让工程本身变得智能——让调度系统能自主感知负载特征并动态优化,让推理引擎能根据模型结构和硬件特性自动生成最优执行方案,让整个 AI 工程链路具备自感知、自决策、自优化的能力。未来,Oxygen xLLM 的项目官网、社区沟通渠道及微信社区将陆续向开发者开放,诚邀芯片厂商、模型厂商、云厂商、企业用户及个人开发者共同参与,让国产大模型推理引擎在开放生态中加速成长。硬件层,原生支持 GPU / NPU / MLU 多类 AI 芯片,深度适配国产芯片。

京东科技开发者 1007
上一篇: 【稳定性】上线三板斧(可灰度、可验证、可回滚)
下一篇: 云交易技术对接全景
京东云开发者
京东云开发者 企业官方账号 企业官方账号
博客等级 码龄8年 1万+粉丝 2140原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值