【稳定性】稳定性建设之变更管理

作者:京东物流 冯志文

背景

在软件开发和运维领域,变更管理是一个至关重要的环节。无论是对现有系统的改进、功能的增加还是修复漏洞,变更都是不可避免的。这些变更可能涉及到软件代码的修改、配置的调整、服务器的扩容、三方jar包的变更等等。然而,变更的执行过程往往伴随着一系列的风险和挑战。变更管理对于确保系统的稳定性至关重要。只有通过有效的变更管理措施,如合理的变更计划、全面的测试和验证、及时的问题解决等,才能够最大限度地减少变更带来的风险,确保系统的稳定性和可靠性。因此,对于任何一个组织或团队来说,都需要高度重视变更管理,并将其作为稳定性建设的重要组成部分。

一、兼容设计

在变更管控各项变更中,如果考虑好兼容设计,其整体的变更就会比较平滑,整个变更的兼容设计会从硬件、软件、数据三个层面展开,其中软件部分还区分基础软件和应用软件,现在从以上部分展开对应的兼容设计需要考虑的原则如下描述。

1、硬件变更兼容设计

硬件平台变更,原则上不应该影响在其之上运行的应用服务(主机硬件平台升级,网络设备升级,存储设备升级,防火墙升级),所有硬件升级必须考虑线下兼容性,需要在线下环境进行详细的测试验证,保证生产系统变更稳定性。

2、基础软件变更兼容设计

任何基础技术和系统软件的升级,原则上不应该影响使用其的应用服务(框架,消息组件,缓存,存储中间件,操作系统,JVM,Apache,JBoss,Tomcat等),所有基础软件必须考虑线下兼容性,需要在线下进行严格并且详细的测试,保证生产系统变更稳定性。

案例1:mysql数据库5.5升级5.7风险点 1、MySQL版本从5.5升级到5.7,最大的风险在于数据精度不同,尤其体现在时间类型的精度方面。 2、timestamp NOT NULL DEFAULT '0000-00-00 00:00:00' 类型在5.5版本中,create_time虽然定义为not null ,但是实际是能插入null值,会自动转换为current_time,5.6版本直接报错,拦截语句插入。 3、timestamp 时间类型在5.6.4版本后支持毫秒。例如:timestamp(3)即保留3位毫秒,如果不指,则不存储毫秒。 4、数据精度变化,5.5直接截断,5.6、5.7版本会按4舍5入取位。关于时间类型、数值类型、浮点类型请进行严格验证。 mysql更新到5.6.4 之后 , 新增了一个叫factional seconds的特性 , 可以记录时间的毫秒值. 但是目前的数据库是不记录毫秒值的 , 所以会产生一个java中时间的Milliseconds超过500就会四舍五入的问题. 例如一个时间是2015-08-31 23:59:59.520 , 毫秒值超过500 , 入库的时候 , 时间就会变成2015-09-01 00:00:00 . 下面的两条sql就可以看出效果.
insert into money_record 
values(null,1711929, 'jerry1bean', NULL, NULL, 20.00, 2.00, 1250, 
'2015-08-31 23:59:59.500000', NULL, NULL, NULL, 'just a test', NULL);

insert into money_record 
values(null,1711929, 'jerry1bean', NULL, NULL, 20.00, 2.00, 1250,
 '2015-08-31 23:59:59.499999', NULL, NULL, NULL, 'just a test', NULL);

5、5.5版本sql where 条件的值即使传入带毫秒,sql解析后也不带毫秒,5.7 查询sql解析后会带着毫秒,所以在范围查询时同样的sql查询的结果可能不同。

3、应用软件变更兼容设计

应用升级方案中应该考虑应用向下兼容能力,无法完全向下兼容的应用升级过程,在联调、预发布及正式上线过程中会引起已有业务服务的不可用,在关键业务路径上的一级服务如果发生不兼容现象后果更加严重,会直接导致变更过程中的大量业务处理中断,引起核心业务下跌。应用可向下兼容的评估点包括但不仅限于:服务接口、方法、入参、返回值及服务方法具体实现的向下兼容性能力;其中服务方法具体实现向下兼容是应用向下兼容能力的最核心表现。对于一、二级关键服务,应用升级过程中必须完全向下兼容,确保发布过程中不产生兼容性问题进而导致业务下跌或其他关键服务不可用。同时服务消费端设计上需要做到客户端可不要求同步升级。

案例1:JSF默认的Msgpack序列化,接口对象里增减字段如何处理? 【现象描述】:JSF默认的Msgpack序列化,接口对象里增减字段如何处理 【原因分析】:Msgpack是按字段顺序进行序列化和反序列化的,其缺点是无法改变字段顺序。 【解决方案】: 因Msgpack序列化不能改变字段顺序,所以在两边不同时升级的情况下,字段兼容规则如下:(包括Bean和枚举) 1、不要调整原有字段顺序,不能删减字段,除非是删最后一个字段。 2、新加的字段必须在字段最后面(只是字段顺序,不是文件最后面,getter/setter方法等随意)。 3、父类的字段不能变。因为父类一变相当于子类的中间插入一个字段。 满足上面规则,服务端和客户端哪边先升级都无所谓。 如果是需要父类加字段,或者中间加减字段这种,则需要服务端和调用端同时升级。



4、数据变更兼容设计

应用软件系统升级方案往往附有数据存储格式变更,良好的数据兼容性设计对升级后应用平稳上线起到重要的保障作用。数据兼容性设计要求设计方案遵循安全的增量变更原则,即在保障已有的数据存储结构不发生语义变化的前提下,合理增加升级应用所必须的数据列;并且所增加数据列不对已有业务服务造成影响,如外部系统所调用的查询服务不会中断、业务返回结果不变。原则上,当已有数据存储结构语义发生变化,原存储列所存储值业务含义发生变化时,应该通过新增存储列来完成,避免直接复用已有存储列或修改已有存储列名的做法。对于重要性高的服务,数据升级后必须完全向下兼容;确实无法做到数据向下兼容的,如原有存储列完全废弃的,应该首先确保外围使用系统业务改造完成后方可上线。

案例1:mysql表结构变更 背景:新需求上线,表结构需要增加个新的字段 1、代码上线前,提交sql语句如下,字段apply_type 为not null 未给默认值,导致不兼容线上逻辑
ALTER TABLE store_capacity_approve 
ADD COLUMN apply_type tinyint(4) NOT NULL 
COMMENT 'XXX类型' AFTER match_standard;

2、但由于代码未上线,导致线上报错Filed 'apply_type' doesn't hava a default value





3、修改sql,给apply_type该字段添加默认值,兼容线上代码逻辑
ALTER TABLE store_capacity_approve 
MODIFY COLUMN apply_type tinyint(4) DEFAULT 0
COMMENT 'XXX申请类型';

二、新版本发布设计

1、停机性发布

原则上建议非高优先级系统不进行停机发布。对于高优先级系统,应在系统设计阶段尽量避免停机发布,如因系统拆分,数据库拆分,整体架构升级等原因一定需要停机,需严格限定停机范围、停机的时间点与停机时长。如需停机的系统及业务可以独立发布,则除这些系统外,其他系统尽量保障采取非停机平滑发布方式。如因系统耦合度或者业务耦合度复杂无法独立发布,则进行整体停机发布;

2、发布顺序是否合理

根据系统间依赖指定合适的发布先后顺序。系统发布顺序遵照以下原则:禁止系统启动依赖,无因系统启动依赖导致的发布顺序依赖;对于业务依赖,需保证无相互依赖。高优先级系统原则上不应该依赖于低优先级系统;其他系统默认无发布顺序,可以根据发布进度进行无序发布。

3、发布时间点

发布时间点需尽量避开业务高峰,尤其是发布过程会对业务产生影响的核心系统。系统发布因尽量避免影响业务,如确实对业务影响较大又无法在系统设计上避免,需将发布时间点放在绝对业务低峰点。

涉及新旧功能切换。验证切换方案地合理性,可逆性。发布过程中涉及到的新旧功能切换方案,应确保可逆,即切换失败后能及时切回到旧功能。方案需在研发环境进行详细测试,如无法在研发环境进行测试,需在预发布环境进行模拟测试,确保方案正确有效,可回滚。

三、灰度变更

1、灰度意义

1.我们在编码完成后会在测试环境中进行测试验证,这是为了找到问题和错误。当我们完成整个测试流程后,我们可以认为已知的问题已经得到了解决。由于测试环境与线上真实业务和用户环境是隔离的,所以测试环境中的问题不会对线上业务和用户造成影响。

2.灰度发布是为了验证我们的假设,即“还存在我们不知道的问题”。因此,在进行灰度发布时需要更加谨慎,确保即使问题在生产环境中出现,也能控制其对业务和用户的影响。通过灰度发布,我们可以逐步验证系统的稳定性和可靠性,减少风险并提高产品质量。

3.我们需要明确一点:灰度从来不是为了测试。它的主要目的是对抗“未知的不确定性”。在软件开发过程中,我们无法预测所有可能的问题和错误,因此需要通过灰度发布来验证系统的稳定性和可靠性。

4.在分布式系统中常见通用的灰度过程有 beta 发布、蓝绿发布,进行流量级别的灰度过程,能够满足绝大部分变更灰度验证需求。如果变更复杂度较高或者业务比较重要,在方案设计中也需要进行更精细变更影响面控制,例如按照影响用户维度逐步生效的设计,但要注意一次业务完整流程中开关一致性问题。

5.灰度发布是一种有效的风险管理方法,可以帮助我们在软件开发过程中识别和解决潜在的问题,提高产品质量和用户体验。

在灰度的落地与推进过程中,有效性非常重要。因为灰度是一个很耗时的复杂的过程。如果不注意的话,很容易出现“形式化”的情况,即只是表面上的灰度,而实际上并没有达到预期的效果。

为了确保灰度的有效性,需要注意以下几个方面:

1.制定详细的灰度计划:在进行灰度之前,应该制定详细的计划,包括灰度的范围、时间、节点等信息,以确保灰度过程的可控性和可预测性。

2.逐步推进灰度:在进行灰度时,应该逐步推进,而不是一下子全面铺开。比如,可以先在一个机房的一个分组中部分节点进行灰度,然后再扩大到全部节点和集群,最后再扩展到另外一个机房的相同步骤。

1.监控和反馈:在进行灰度时,应该及时监控和反馈,以发现和解决可能出现的问题和风险。关键点在于时间和流量

时间: 每个灰度阶段至少有 5 ~ 10 分钟的观察时间,这个时间可以根据业务系统的具体情况进行调整。在观察期间,需要密切关注监控、日志和各方反馈等信息,以发现和解决可能出现的问题和风险。只有当这些信息没有异常时,才能扩大灰度范围,进一步推广灰度计划。在灰度过程中,需要保持高度警惕和敏锐的洞察力,及时发现和解决问题,以保证系统的稳定和可靠性。

流量: 在进行灰度时,流量是一个非常重要的因素,需要特别注意。特别是对于一些业务场景,可能需要特定的触发条件才能进行灰度测试,比如只有满足某些条件的用户或订单才能参与测试。 在这种情况下,仅仅通过单位时间内是否存在异常来判断灰度是否成功是不足够的。还需要确保有足够的有效流量来触发这些特定的业务场景。否则,即使系统在灰度测试中没有出现异常,也不能完全保证系统在实际使用中的稳定性和可靠性。 因此,在进行灰度测试时,需要确保有足够的有效流量来触发这些特定的业务场景。同时,还需要注意监控和日志等信息,及时发现和解决可能出现的问题和风险。通过这种方式,可以更好地保证系统的稳定和可靠性,提高灰度测试的效果和价值。

有效的灰度可以把问题影响锁定在一个小范围内,但是同样也降低了问题的“明显性”,所以你要通过监控和日志更加仔细、谨慎地去寻找、观测异常并对比发现问题。灰度是一个复杂的过程,需要仔细考虑和规划。通过制定详细的计划、逐步推进和及时监控和反馈等措施,可以确保灰度的有效性和可持续性。

2、部署编排灰度

为解决用户手动部署操作耗时高、对人依赖度高、人工容易遗漏等导致线上问题痛点,强烈推荐您使用【部署编排】功能,用户可灵活制定部署策略,实现从编译构建到实例部署的自动化运行,提高部署效率!但部署编排第一次使用的时候需要验证好。

比如这分组每次发10%,具体分组灰度比例多少需根据业务特性而定。

四、数据迁移分析

发布过程所需的数据迁移方案,需事先在线下环境进行模拟演练,反复梳理迁移过程执行步骤,将可能发生的迁移风险降到最小。数据迁移方案的可行性包括:

方案的完整性:是否本次升级内容所必须包含的待迁移数据项全部覆盖到位。

方案的安全性:对于敏感信息如用户隐私信息的迁移方案,是否存在由于迁移脚本的不合理导致隐私信息泄露风险。

方案的可实施性:包括数据迁移操作方案的合理度(发布过程中完成或者发布前、发布中、发布后多阶段完成),相关角色配合实施步骤,同时必须考虑本项目的数据迁移方案所占用时间是否对同一发布窗口的其他项目造成影响。

方案的可检测性:迁移过程各个阶段的数据完整性、准确性检查脚本是否准备到位。

方案的可回滚性:迁移过程中各个阶段如果发生了计划外风险,必须要终止迁移操作的,是否具备了已迁移数据回滚能力。

涉及重要性高的服务的数据迁移方案必须完整、安全、可实施、可检测、可回滚。

案例:可参考 Redis渐进式rehash 兼容性 扩展或收缩哈希表需要将 ht[0]里面的所有键值对 rehash 到 ht[1]里面, 但是, 这个 rehash 动作并不是一次性、集中式地完成的, 而是分多次、渐进式地完成的。 这样做的原因在于,如果哈希表里保存的键值对数量很大时, 如:四百万、四千万甚至四亿个键值对, 那么一次性将这些键值对全部 rehash 到 ht[1] 的话,庞大的计算量(需要重新计算链表在桶中的位置)可能会导致服务器在一段时间内停止服务(redis是单线程的,如果全部移动会引起客户端长时间阻塞不可用)。 因此, 为了避免 rehash 对服务器性能造成影响, 服务器不是一次性将 ht[0]里面的所有键值对全部 rehash 到 ht[1], 而是分多次、渐进式地将 ht[0]里面的键值对慢慢地 rehash 到 ht[1]。











总结:渐进式 rehash 执行期间的哈希表操作 (1)删除和查找:在进行渐进式rehash的过程中,字典会同时使用ht[0]和ht[1]两个哈希表,所以在渐进式rehash进行期间,字典的删除、查找、更新等操作会在两个哈希表上进行。比如说,要在字典里面查找一个键的话,程序会先在ht[0]里面进行查找,如果没找到的话,就会继续到ht[1]里面进行查找,诸如此类 (2)新增数据:在渐进式 rehash 执行期间,新添加到字典的键值对一律会被保存到ht[1]里面,而ht[0]则不再进行任何添加操作。这一措施保证了ht[0]包含的键值对数量会只减不增,并随着rehash操作的执行而最终变成空表。

五、可回滚设计

1、制定回滚计划

故障恢复最好的手段是各种预案,而回滚则是预案中最普遍、也最有效的。

回滚的必要性:应用上线应该制定详尽的回滚计划,能够在最短时间内将应用恢复至上一稳定运行版本;然而系统并不是天然可以无缝回滚的,想要系统具备回滚的能力,在设计与实现阶段需要付出额外的精力。可回滚的本质是系统的兼容性设计与实现,比如常见的“只增不改”,一个 API 内要调整很多实现逻辑才能满足新业务的需求,此时不妨直接新增一个 API ,两个 API 保持参数一致,那么一旦新 API 有异常直接通过开关技术切换回旧的 API 即可。一般情况下应用本身可回滚,而数据层面的可回滚性是重要的考量因素之一。遵循安全的增量变更原则所设计的数据变更方案具备可回滚能力,发布过程中所产生的增量数据列存储值要求可废弃。原则上任何应用服务在发布之前都必须具备可回滚的能力,没有回滚能力的系统不允许发布上线。

回滚操作对业务的影响:由于应用升级的回滚实施,必然会影响本次升级业务所服务的业务需求,同时会直接影响对本次升级有依赖的其他业务系统;回滚方案中必须明确本次发布窗口所有相关性需求项目,明确一旦发生回滚处理受影响范围,提前告知相关项目组及业务方,同时尽可能降低多个业务关联性较强项目同一发布窗口的回滚风险。

涉及重要性较高的服务应用升级方案要求必须提供回滚方案,且此回滚方案事先在线下环境得到完整模拟演练并确认可行;回滚完成后要求不得中断服务,业务运行正常

2、回滚原子性

回滚的复杂性:除应用本身及数据层面的可回滚性考虑外,若服务使用客户端已完成同步升级,则必须考量客户端的可回滚性;极端情况下,若客户端的本次同步升级也造成了其作为服务提供方的使用客户端同步升级,则存在多个应用系统复杂的连带可回滚需求;相关系统也需要评估其应用本身及其数据层面的可回滚能力,作为本次应用升级回滚方案的一并考虑项。在升级方案设计中,应该提前预知复杂回滚方案的实施成本,防止发生上述的同步升级的多重强依赖关系。回滚方案包括但不仅限于:应用回滚、数据回滚及清理、代码回滚、运维策略回滚、监控方案回滚等。

切记:代码需要及时回滚,以防在未修复问题前,下次团队其他同事上线把未回滚代码部署到线上导致二次问题发生。

3、代码回滚之开关技术

在大部分场景下,开关技术才是线上代码问题快速止血,快速回滚的最佳方式(需根据业务系统特性而定)。如遇线上问题的话,采用通用的回滚方式需要5-10+分钟()并且回滚如果操作不当会加重问题,而采用开关技术则是秒级。同时Promise在处理日常迭代需求和稳定性保障方面,功能开关技术同样发挥了重要的作用。针对改动范围大、影响面广的需求,我通常会问上线了最坏情况是什么?应急预案是什么?你带开关了吗?。当然开关也是有成本的,

4、行云部署的回滚方式

4.1、部署编排回滚

优点:回滚过程平滑,操作简单

缺点:回滚时长与发布时长相同,时间较长。

应用场景:对于非紧急场景,我们建议使用部署编排一键回滚的方式。

4.2、分组回滚

优点:回滚步伐灵活可控,速度快。

缺点:需要每个分组单独回顾。

应用场景:针对需要快速止血的场景,可以采用分组回滚的方式,这样可以更快地恢复系统状态。需要注意的是,我们需要设置好回滚批次间隔,以确保回滚操作不会对系统造成过大的影响。

六、配置变更控制

涉及生产配置参数的变更,原则上必须进行严格变更审批流程保障。所有对于生产动态配置变更由专业运维保障团队统一操作。

动态配置能力可以从以下方面进行设计:

动态配置变更的时机:预发布变更、发布后变更等;

动态配置的可验证:变更接收方能够以日志等形式验证推送的内容,否则是否推送,何时推送,推送的内容正确与否无法确证;

动态配置的生效同步性:在某动态配置涉及多个系统都需要同步时,应用需要考虑在多个系统间不同步时会出现的问题;

动态配置的容错性处理:防止进行线上配置填写错误时,系统即按照错误的情况运行,动态配置必须有默认值;

动态配置是否系统启动时加载:需要系统初起时加载的内容,需要防止出现系统启动依赖;

周期性动态配置:对于定时刷新缓存方式实现的动态配置,需要保证刷新成功后才更新或者替换缓存内容;不能在主线程中判断和刷新缓存,而应该另起线程刷新,防止刷新缓存出现抖动或者阻塞而影响主线程的功能。

案例: 1、修改JMQ的消费策略,可能影响下游链路相关风险(比如依赖的下游流量、中间件等) 2、修改JSF限流,可能导致对应风险点



七、复核验证

每个变更都需要有复核人,对于标准变更,复核人可只对结果进行复核。对于普通变更和重大变更,复核人需要对变更流程、变更表单、实际操作进行核对确认,对变更后的结果进行日志、监控等检查。复核人应对变更不当而引发的问题负责。

每个变更后,需要有一系列的基于变更清单管理的效果检查的内容。如:服务是否正常启动,功能是否可用,性能是否正常,以及变更的内容是否符合预期。通过对变更效果进行验证,才能最终确认本次变更是否正确。同时,针对服务相关的全局核心指标的监控,在变更期间既不应该出现异常,也不应该随意屏蔽。

附:Promise的checklist清单及DoubleCheck机制

1、建立CheckList清单

检查列表可以提醒人遗漏的东西、用来减少失败,保持一致性和完整性。把checklist清单作为xbp流程中一部分,集成到了行云部署发布中,申请上线的时候必须填写。

附:Promise上线案例之CheckList清单,包含

1、向下兼容,是否兼容之前功能

2.抽取文件检查,比如JSF别名配置,JIMDB配置等

3.ducc配置检查、是否新增加了开关

4.生产环境DDL检查,比如数据库表字段等

5.JSF别名配置,如上新接口或者服务需检查

6.jar包相关

7.JMQ配置检查

8.新日志文件检查(异步)

9、代码比对

10.上线过度方案检查、回滚策略检查

11.UAT环境是否测试、性能测试、R2引流验证等

2、DoubleCheck验证机制

小组群同步上线信息,并且执行DoubleCheck机制

那DoubleCheck验证看哪些?

1、对外核心接口UMP(TP99、可用率、流量)或者MQ 等,这个没什么好讲的。

2、根据日志验证对应场景(新功能场景及之前线上核心流程场景)。比如promise场景复杂,上线会验证不同订单类型的下传时间等相关的重要场景订单,如下图

3、通过可视化界面验证线上订单全流程(用户、业务角度等)。

比如xxx订单号,预分拣环节命中了上线的机器,通过持久化页面发现跟其他环节(转移、worker环节)时效是一样,并且通过OM系统查看全程跟踪时效也是一直。说明上线的机器跟之前机器算出来时效是一直的,如果不一致,需要分析是由于业务刚修改了配置还是系统代码问题。

4、用户角度

总结

变更管理在稳定性建设中扮演着至关重要的角色。它涵盖了兼容设计、新版本发布计划、灰度变革、数据迁移、可回滚设计、配置变更控制和复核验证等多个方面,旨在确保系统在变更过程中的稳定性和可靠性。

首先,兼容设计和新版本发布计划是变更管理的基础。通过充分考虑现有系统的功能和架构,我们可以预测并解决可能出现的兼容性问题。同时,制定详细的新版本发布计划,可以确保变更过程有序进行,避免对用户造成不必要的影响。

其次,灰度变革和数据迁移是降低变更风险的重要手段。通过逐步引入变更,我们可以及时发现和解决问题,减少对整个系统的影响。而数据迁移则是确保用户数据安全和完整性的关键步骤,需要仔细规划和执行。

另外,可回滚设计和配置变更控制是保障变更可控性的重要措施。可回滚设计意味着我们可以随时将系统恢复到变更前的状态,以应对可能出现的问题。而配置变更控制则可以确保变更过程的合规性和安全性,防止未经授权的变更发生。

最后,复核验证是确认变更有效性和正确性的关键步骤。通过对变更后的系统进行全面的测试和验证,我们可以确保变更没有引入新的问题,并且达到了预期的效果。

综上所述,变更管理在稳定性建设中起着至关重要的作用。通过合理的变更管理措施,我们可以降低变更带来的风险,确保系统的稳定性和可靠性。只有在充分重视和有效实施变更管理的前提下,我们才能够建立一个稳定、可靠的系统。



参考:

信通院稳定性建设指南

相关推荐

京东云推出全新JoyCode智能编码工具,让AI Coding从代码生成走向成果交付

全新JoyCode结合项目背景与任务目标,通过Agent Loop持续规划、执行、验证与迭代,并支持多智能体并行协作、模型灵活配置及工具与流程复用,贯通从需求分析到开发验证的任务链路,推动AI Coding从代码生成走向可运行软件与可用工具的成果交付。模型使用的关键,不只是选择更强的能力,而是让投入与任务需要相匹配。作为面向严肃开发场景的企业级编码产品,京东云JoyCode所拓展的,不只是代码生成的能力,更是将专业经验与日常灵感付诸实现的路径,让技术承接实现过程中的繁复,让人更专注于问题、判断与创造。

京东科技开发者 41

GPT-6凌晨上线智能UI:智能UI时代的技术架构重构与应对之道

从命令行到图形界面,计算机行业用了三十年证明了同一件事:人类需要视觉的、空间的、可重复的交互表面,纯文字从来只是过渡形态。智能界面的出现,意味着AI行业第一次大规模承认了这个规律——对话是创造的接口,界面是使用的归宿。生成的界面如何稳定下来?个人的数据与身份如何安全地沉淀?Agent的行动能力如何可信地放大?谁能把这三个问题答好,谁就站在了Personal Agent图形界面时刻的浪潮之巅。

京东科技开发者 224

AI 会写代码之后,交付为什么还没变快?

AI 写代码,只是这场变革的起点,而不是终点。真正决定一个组织能否吃到 AI 红利的,不是"能不能用 AI 写出代码",而是敢不敢用 AI 重新设计交付流程、重新划分角色分工、重新组织团队结构。研发视角能把工具和个人推到极致,却会在组织的边界前止步;只有站上组织视角,把AI × 工具一路推进到AI × 组织,那些被 AI 照出来的摩擦,才会真正被抹平。国际技术部 Multi AI Native 想做的,正是这件事——让 Agent 成为你可靠的数字战友,让每一次迭代交付都快一个量级;

京东科技开发者 313

OxygenData-Vibe搭建:用 AI Coding重新定义数据看板搭建

长期以来,数据看板开发主要有两种方式:一种是使用标准化 BI 工具,交付快、成本低,但图表样式、交互体验和功能扩展都受限于 BI 本身的能力;另一种是自研定制开发,能够充分满足复杂和个性化需求,但需要投入大量研发资源,交付周期也更长。比如一个通过 BI 只需要 1 天就能搭建出来的看板,如果采用自研方式,可能需要投入 30 PD 的研发人力。既然 BI 交付这么快,为什么不把所有看板需求都交给 BI?原因在于,业务某些场景需要的不只是把数据展示出来。

京东科技开发者 375

当我谈数据库高可用时我谈些什么

大家都经常听到说数据库的双1,那双1指的是什么呢?参数=1(最安全)≠1(更快但可能丢)每次提交都把 redo 刷盘0/2:攒着刷,崩溃丢最近 1 秒每次提交都把 binlog 刷盘0/N:攒着刷,崩溃丢最近若干条"双 1"(都设为 1)= 单机不丢已提交事务的前提。生产核心库必须双 1;代价是每次提交两次 fsync。小结:单机层用 WAL 提速、用 2PC 保证 redo/binlog 一致、用崩溃恢复裁决半成品事务、用双 1 兜底持久性。

京东科技开发者 320

ScoAI:面向供应链的运筹原生决策智能

ScoAI 关注的并非 AI 能否进入供应链,而是 AI 参与供应链决策之后,哪些内容适合通过数据学习,哪些关系必须显式计算,以及哪些结果需要依据执行记录进行验证。其基本分工是:供应链业务定义问题、资源与行动后果,运筹学表达目标、约束和协同关系,AI 提供可复用的估计与判断。真正用于改进后续决策的,不仅是模型生成的初始结果,还包括实际采取的行动及其产生的业务反馈。

京东科技开发者 406

拆解海博 AI-Native 落地保障:海博团队 AI 知识库能力建设

绕了一大圈,回头看,我们其实一直在解开头那三个结:AI 读不懂系统、影响面靠人脑记、测试预期没处查。做到这里,本质上是把"AI 用不好"这个问题,从"是不是该换个更强的模型"重新定义成了"怎么把上下文经营好"。顺着这个思路,我们攒下了这么几样东西:•。

京东科技开发者 562

从零构建一个生产级记忆型 AI Agent —— AgentScope 项目全景技术与学习指南

domain 层端口接口(domain)职责适配器实现(infra)对话流水账读写经验记忆检索/落库请求级幂等四态会话元数据 CRUD会话级 Skill 选择态Skill 元数据HITL 权限网关(domain 内含逻辑,见第四篇)StreamSink技术中立的流式下沉(client 层桥接)以幂等端口为例,头部注释明确写道:实现 domain 端口,持有实体不出 infra 边界,对外只暴露嵌套视图GateResult。

京东科技开发者 615

数据涅槃:Agentic 重塑搜推数据生产体系

当前大模型已经能够理解需求、生成代码和解释错误,但数据生产的难点并不只是“写出一段 SQL”。一个需求还要经过数据源确认、口径澄清、加工编排、资源规划、任务提交、调度运行、结果交付和故障处置。任何一步缺少都可能让“看起来正确”的任务变成生产事故。

京东科技开发者 382

81.8 秒的视频,我们改了 15 个版本:一次纯 Codex 驱动的 AI-native 视频实践

81.8 秒、15 个版本,这些数字真正想说明什么?视频制作正在从一组专业软件里的复杂操作,变成一场围绕目标、参考和反馈展开的持续对话。AI 已经可以接住从脚本到交付的大量工作。你可以把精力留给更重要的部分:理解观众、选择故事、判断好坏。过去停在 PPT 和脑海里的想法,现在有机会被快速做成一支能看、能改、也愿意转发的视频。如果明天就要介绍你手头的项目,你最想先把哪一步交给 AI?

京东科技开发者 469

Codex 驱动的移动端AI全栈开发:从 Relay 原型图到可交付链路

AI 编程工具降低了跨端开发门槛,但“让 AI 写页面”并不等于“完成移动端交付”。PC 运营端页面通常以功能闭环为中心,设计约束较弱,研发可以基于组件库快速搭建;移动端 C 端页面直接面对用户,Relay 原型图和 UI 设计稿不仅是视觉参考,更是交互、信息层级、状态反馈和业务信任感的综合契约。

京东科技开发者 595

Claude Code vs Codex 记忆体系深度对比

Claude Code —— 分层自动记忆系统四层分层架构(CLAUDE.md / Auto Memory / Session Memory / AutoDream)构成自优化闭环,系统主动捕获、分类、去冗并跨会话接力经验。走的是自动化优先路线——让机器替人记忆、替人整理,以少量可控性的不确定换取强大的经验积累能力。Codex —— 声明式契约系统两层扁平架构(AGENTS.md 静态声明层 + 会话上下文层),记忆完全由人显式订立、显式修改,系统只读契约、绝不擅自变更。走的是可控性优先。

京东科技开发者 631

上游给空、下游拿到 -1,我把故障一直追到了 commons-beanutils 的构造函数

这篇手记是一份事后复盘,写在我们已经把修复推上线、把测试用例跑绿、把约束文档沉淀进团队库之后。非研发同事,可以直接从第八章开始看,前七章都是讲排障和代码分析。故障本身不复杂,修复也不复杂,但这次排查真正让我想写下来的,不是技术本身——而是从问题提报到解决全程AI的作用:问题定位:业务方反馈了一个异常单号说「下发失败」,一线运维同事直接在日志系统捞到相关的系统日志,用IDE打开下游代码库,把异常信息给到JoyCode——AI 直接指向了问题是serialType值非法,系统只接受0和1,而当前上游给的是-1。

京东科技开发者 720

SKill测评:谁才是真正的Skill之王?

巧合的是,阿里近期开源了一款名为 Skill-Up 的测评工具——它专门面向 Agent Skill 开发者,支持在 Claude Code、Codex、Qoder CLI 等真实 Agent Engine 环境中验证 Skill 的功能正确性,并可将失败用例转化为精准的修复指引,同时支持本地与 CI 环境的持续回归。2026年,Skill 的热度不减,已成为 AI 辅助编程领域的标配。在日常研发中,无论是沉淀个人经验,还是将团队的优秀范本标准化,将知识“蒸馏”为 Skill 已是大家的常规操作。

京东科技开发者 640

让AI真正参与工作!JoyDesk已上线京东云

JoyDesk提供覆盖AI资产管理、权限控制、安全策略、审批审计、运营监控等企业级治理能力,支持按组织、角色和项目进行精细化权限管理,并支持私有化部署,确保企业数据边界清晰、AI行为全程可追溯、安全策略灵活可配置,满足金融、政企等行业对数据安全和合规治理的要求,让AI真正成为企业可信赖的生产力。JoyDesk支持MCP协议、标准API、技能等多种开放接入方式,可快速连接企业现有业务系统,将业务能力封装为AI可调用的技能和专家,让AI能够理解业务流程、调用业务系统、完成业务任务,而无需改变企业原有IT架构。

京东科技开发者 674

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手【最终版】

这个项目展示了AI Agent 在垂直内容创作领域端到端自动化:从内容理解到播客输出,全流程 AI 驱动多模态融合:文字、图片、音频、视频统一处理专业级音频质量:音色设计 + 智能混音,输出广播级品质低门槛使用:可视化配置 + 自然语言交互,无需技术背景。

京东科技开发者 563

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(高级篇)

这是一个 AI 驱动的播客创作助手,专注于从文字/视频/音频内容识别到播客制作的全流程。你可以用自然语言与它对话,也可以上传视频和音频,它会理解意图、调用相应的语音合成工具,把他们变成真实的播客音频。

京东科技开发者 728

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(进阶篇)

这是一个AI 驱动的音频内容创作助手。你可以用自然语言与它对话,它会理解意图、调用相应的语音合成工具,把文字变成真实的播客音频,并保存在本地。关于项目的详细介绍见第一篇文章:第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)这篇文章更多介绍进阶篇添加的功能。

京东科技开发者 552

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)

这个项目让我第一次把前端、后端、AI Agent 三块内容独立串联起来。技术选型上每一块都是当下主流的方案,实际跑通整条链路之后对"全栈"有了更具体的感受。框架版本要锁定:LangChain 这类快速迭代的框架,版本差异带来的问题远比你想象的多先跑通链路,再追求完美:新手阶段能把用户输入 → AI 处理 → 结果展示这条链跑通,比深入某个技术点更有价值多看官方文档:相比博客和教程,官方文档更新及时,特别是 LangGraph 这种新框架后续计划继续迭代,欢迎交流!

京东科技开发者 610

ICLR 2026 | 面向序列决策的贝叶斯集成方法

在这篇工作中,我们关注的是。

京东科技开发者 296

ICML 2026|NaviAgent:面向 Oxygen 智能体的可扩展工具编排

大型语言模型(LLM)越来越多地作为函数调用代理,调用外部工具来处理超出其静态知识范围的任务。然而,它们通常一次只调用一个工具,缺乏对任务结构的全局视图。由于工具之间往往相互依赖,这会导致错误累积和可扩展性差,尤其是在扩展到数百或数千个工具时。为了解决这些局限性,我们提出了NaviAgent,一种显式的双层架构,它通过基于图的工具关系建模将任务规划与工具执行解耦。在规划层,基于 LLM 的代理决定是直接响应、澄清意图,还是检索并执行一个独立于工具间复杂性的工具链。

京东科技开发者 389

实测 9 款 AI 架构图工具:从 Mermaid 美化到 GPT-Image2,一份选型清单

支持 5 类图(架构图、工作流图、时序图、数据流图、生命周期/状态机图),主题 4 种(Classic、Signal Flow、Blueprint、Editorial)+ 3 种色彩模式(Dark / Light / System Auto),输出格式含 HTML、PNG、SVG、WebM、Share Card PNG、JSON IR。它把提示词图库、图像生成案例、参考图编辑流程和命令行工具整合在一起,让 AI Agent 能直接调用 GPT Image 2 模型完成文生图、图生图、参考图编辑等任务。

京东科技开发者 906

别再守着 Claude Code 了——学会指挥它自主干活

回到开头那句:别再一句一句地喂它、然后守着屏幕。真正的用法是——把一件事想清楚、划好边界、给它一个能自我验证的目标,然后交出去。你会发现,省下来的时间不是一点半点。把重复的判断和执行还给机器,把真正需要你的判断留给自己。

京东科技开发者 587

CVPR 2026|Oxygen XR 团队在原生鱼眼高斯泼溅技术上带来新突破

京东零售技术团队联合清华大学提出DirectFisheye-GS框架,创新性地将鱼眼相机模型原生嵌入3D高斯泼溅管线,通过跨视角联合优化策略直接处理鱼眼图像,避免了传统去畸变预处理导致的信息损失。该方案在多个公开数据集上达到SOTA性能,有效解决了单视角优化引起的几何畸变和视角不一致问题,同时保持与现有3DGS工具链的兼容性。技术已应用于电商3D重建和4D体积视频等场景,显著提升了沉浸式体验。相关论文被CVPR 2026接收,为宽视场场景重建提供了高效解决方案。

京东科技开发者 355

拆解海博 AI-Native 落地保障:Harness、双 Loop、知识库与技能自主迭代实践

海博研发RoadMap 的落地,彻底终结了 AI 编程“对话式玄学”的旧模式,真正落地了AI Native 研发工程化。它证明 AI 规模化赋能研发的核心,不在于堆砌大模型能力,而在于用工程思维重构 AI 的工作范式:用结构化流程替代随机对话,用固化规则约束模型行为,用持续沉淀实现能力复利,用分层架构支撑规模化落地。

京东科技开发者 638

让 AI 快速「读懂」你的代码仓:Joy-Code-Graph 云端图谱服务的三次进化

代码知识图谱不是要取代 AI 的智能,而是要补齐它对代码全局关系的认知盲区。当 AI 能一眼看清「谁调用了谁、改动会波及哪里」,它写出的代码才真正靠谱;当这份认知安全地留在自己手里、随时被 Joygen 调用、并且永久沉淀在代码仓里——AI 编程的体验,才算真正上了一个台阶。这,就是我们做 Joy-Code-Graph 云端服务的初衷。能力共享,数据自主;一次建图,长期受用。

京东科技开发者 752

【Coding生态】从代码托管到 AI 能力底座:与Coding一起共建 AI 研发生态

前两种框架能够很好地支撑对话式能力和预设流程式能力。它们适合基于提示词或预设工作流完成研发问答、知识查询、流程编排等任务。但在更复杂的研发场景中,仅仅“回答问题”还不够。当用户业务逻辑复杂时,一旦场景进入真实落地阶段,例如下载代码、修改文件、执行命令、安装依赖、运行测试、读取完整代码文件,或者与自有系统联动、将结果渲染到 Coding 页面、推送到京 ME,AI 应用需要的不只是知识能力,还需要真实的代码库操作能力和独立可执行环境。

京东科技开发者 768

GPT-5.6、ChatGPT Work 与 Codex 更新食用指南

三档模型当前都提供 1,050,000 tokens 上下文、922,000 tokens 最大输入和 128,000 tokens 最大输出,接受文本与图像输入、输出文本,并支持 web search、file search、Computer Use、MCP、Tool Search、Skills、Apply Patch 等工具。Work 可以读取你提供的文件,通过插件连接 Slack、Google Drive、SharePoint、邮箱、日历、CRM 或项目系统,调用获批工具,并在执行中展示进度。

京东科技开发者 872

把业务流程沉淀成高质量 Skill 的实践路径

使用Record & Replay创建的Skill,尽管创建流程简单,但它的本质实际是让 AI 去操作页面,这不但有可能影响我们对电脑的操作,还有可能无法稳定复现。创建Skill时,可以使用 Codex 的 Record & Replay 插件,把一次手工操作录下来,再让 AI 生成可复用流程。刚开始切换时,很容易遇到接口报错,可以让Codex排查原因进行优化,直到可以稳定执行;补充相应业务背景,说明这件事为什么要做,谁会用,输入从哪来,输出给谁看。电脑休眠、关机、软件没开时,本地任务可能无法执行。

京东科技开发者 836

政企前台AI-Agent的架构实践:打造可复用的 AI 服务平台-【灯塔计划】

不止是爆火的龙虾,还是各种Skills,MCP、Agent,脱离的具体的场景谈方案,最后只会是一场空。这一套可复用的 AI 服务平台,截止目前,通过前后端对接规范文档,多项能力已快速接入到各个场域的不同端平台,大幅降低研发成本, 并且各业务线新场景的接入从原来的 “开发驱动” 转为 “配置驱动”,接入周期从天维度缩短至小时级。

京东科技开发者 864
上一篇: 《京东金融APP的鸿蒙之旅系列专题》鸿蒙工程化:Hvigor构建技术
下一篇: 90后程序员的职业成长漫谈
京东云开发者
京东云开发者 企业官方账号 企业官方账号
博客等级 码龄8年 1万+粉丝 2141原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值