在线公开课 | 监控与日志的黄金法则

课程概要

在当下,云原生的火爆不容小觑。随着虚拟化技术的成熟和分布式框架的普及,在容器技术、可持续交付、编排系统等开源社区的推动下,以及微服务等开发理念的带动下,应用上云已经是不可逆转的趋势,云原生(Cloud Native)的概念也应运而生,更是火得一塌糊涂。Cloud表示应用程序位于云中,而不是传统的数据中心;Native表示应用程序从设计之初即考虑到云的环境,原生为云而设计,在云上以最佳姿势运行,充分利用和发挥云平台的弹性+分布式优势。

而作为云原生的基石之一,监控和日志的重要性自是不言而喻。

监控(Monitoring)和日志(Logging),是大型分布式系统中最关键的基础设施之一。因为没有监控,就没办法知晓服务的运行情况,也没办法知道集群中有没有Down机、机器的CPU使用率和负载是否正常、网站的Traffic是否正常,以及服务的出错率是不是在可容忍范围之内。简而言之,监控使得我们可以实时了解网站的运营情况和可用性情况。

监控通常是从整体上了解网站的情况,需要具备实时性,而日志则是详尽地记录着系统运行情况,每一次Service的调用,每一次数据库的访问,都应该写进日志,特别是当系统出现问题时,我们希望日志系统能提供完整的错误堆栈和尽可能完备的上下文,从而为系统维护提供支持。

为了帮助开发者对云原生监控和日志解决方案等概念有个系统的了解和应用,4月1日,京东云与AI事业部云产品研发部架构师高云川老师,在《六周玩转云原生》系列技术公开课《第四讲:走近监控与日志,云原生基石探秘》中,和与会者们共同讨论了在记录和监控云原生应用时各种值得借鉴和遵循的优秀实践与标准,并通过精彩的案例解析分享京东智联云在云原生监控&日志的落地实践。

同时,通过邀请开发者们动手实践,深入参与并体验云原生监控体验,参加课程的同学纷纷表示收获颇丰。那么,高云川老师究竟分享了哪些干货?云原生下的可观测性是什么?Prometheus监控方案和EFK的日志方案究竟如何实践?下面让我们一起来回顾下精华内容吧!

六周玩转云原生

走近监控与日志,云原生基石探秘

— 京东云与AI产品研发部架构师  高云川 —

云原生下的可观测性

在云原生中,典型的代表技术包括容器(我们通常理解为Docker)、服务网格、服务治理、微服务、微服务框架、还有不可变基础设施等。这里面就涉及到OS层相关的探索以及声明式API,这是它的典型特征之一。因此,构建云原生应用的目标之一就是构建容错性好、便于管理和便于观测的松耦合系统,这里面的观测就是我们今天要讲的可观测性。利用综合可靠的自动化手段,云原生技术使工程能够轻松的应对大规模伸缩和频繁持续的交付。目前我们讲的云原生基本都是讲K8S,所以基本上也可以叫它Kubernetes native。

云原生的可观测性是指提供对系统行为的高度细致的见解以及丰富的上下文,非常适合调试目的。正如下图所示,2017年的一篇文章提出了这一概念。作者认为:可观测性其实是监控系统,就是这个圆圈的Monitoring部分。可观测性不仅仅包含监控系统,也包含了相关的以调试(包括测试、做负载压测等)为目的的方式。

我们通常所说的监控系统是最适合报告系统整体运行状况的,目标是保证我们的监控系统它自身的简单、高效和稳定。通俗的理解一下,可观测性就是通过技术手段描绘系统的更全面的状态,对我们自己的整体系统有一个非常全面的认知,以一个非常低的门槛且形象的方式让用户具象化的感受到自己对业务的假设是否符合预期,以其获得对业务更深的insight。

下面我们说一下这个监控的意义。我们通常会遇到一些问题,比如:“这个服务我感觉它好像不太正常,但是我也不知道系统到底是不是有问题?”“这个问题我修了很长时间,但是还没有修复,压力山大怎么办呢?”“好不容易看到异常信息,但是一堆信息,我无从查找,怎么办?”“我部署了一个微服务应用,可能七八十个子系统的管理员,线上出问题了,我要去排查它的时候,我无从入手,怎么办呢?”......这里面就引出了监控的意义:线上的异常通常会导致不稳定性,不稳定性会带来损失,所以说我们监控系统最主要的目标就是缩短异常的平均修复时间MTTR。异常的修复过程我们可以总结为三个步骤:see-know-act。这是一个循环的过程,提出一个核心的要求,就要足够快速地采集线上的数据,通过快速观察、假设、分析结果从而快速找到规律、发现异常,快速行动止损——我们平均修复时间越短,受到的经济损失就会降得越低。

监控手段可以分成三大支柱:

- Metrics:以时序监控指标为代表的监控指标系列

时序数据就是一堆离散的点,每个点包含一个时间标识time,一个value标识,这个就是最基本的时序指标。

- Logging:日志系列

日志部分大家应该接触得比较多,应用系统里面通常都会打日志,为了在调试时更方便地看到系统在这个时刻的运行状态是什么样的。日志一般会分为两种类型:一种是非结构化的日志数据,一种是对日志数据做结构化,做结构化的那个日志数据其实会有更多的分析优势。

- Tracing系统:分布式跟踪系统

Tracing系统就是分布式链路跟踪,通过给请求一个唯一标识,那么它经过的每一个服务都记录下它的调用路径,并且记录下它在该服务的处理时间、异常日志各种信息和相关事件信息,我们可以得到全链路的链路图,以便进一步了解系统、追踪问题。

目前业界采用最广泛的是Metrics系统,它的数据时效性是最强、最有效的,能够让你最快发现系统的异常。而Logging日志系统主要是用于分析的场景,时效性比较中等,一般当发生告警、异常的时候,通过Metrics已经观察不出来可能的问题或是只能限定问题范围,就需要日志来进行进一步的分析。

基于Prometheus的监控方案

监控系统其实就是个数据处理系统,包含数据的抽象、采集、存储、计算和数据的使用,下面我们就来介绍下监控方案Prometheus。Prometheus是CNCF下最早期毕业的项目之一,现在是时序监控领域、云原生领域的事实监控标准,整体架构设计非常优雅。

中间这一部分Prometheus Server是一个单体应用,可以独立启动。我们可以针对其配置采集任务。不同的组件PaaS产品基本都有通用开源的Exporter,通过这种方式可以很好地利用开源,便捷的采集各类产品的监控数据。采集管理之后就是存储,Prometheus内含了一个TSDB。可以针对时序指标数据做存储及计算。存储完数据之后需要暴露给用户使用,它通过一个Restful的API来实现。通过外层使用Prometheus的原生UI,我们可以调用它的接口来获取相关的数据,进行相关的实时分析,也可以采用Grafana这个观测性领域最为广泛应用的工具来查看。

蓝色框里的是Prometheus跟K8S的结合,为什么说Prometheus是云原生的事实监控标准呢?它跟K8S是无缝集成的,只要用户在K8S里面声明了一个service或是一个注解,那么Prometheus就会自动做服务发现,把相关实例的监控信息自动抓取出来,完全实现对应用和监控的分离。

最后我们介绍一下Alertmanager,它是Prometheus里面第二个二进制文件,实现了对告警的处理。Prometheus可以设置规则触发告警,但是Prometheus本身不负责发出告警,这时候就需要把Alertevents push到Alertmanager。Alertmanager负责报警的发送、收敛、沉默相关的功能。

下面通过Prometheus介绍一下Prometheus对数据的抽象,以便我们对监控系统整体的数据抽象有个大概的了解。什么是时序数据呢?我们前面讲到过,其实就是由一个时间time和一个value构成的一个影响的序列,那么在Prometheus里面,它除了有time和value以外,还有一个metric name,如 内存指标,CPU空闲、内存用量,都通过metric name标识。目前主流的TSDB系统基本都支持时间达到秒级或者毫秒级精度为主。采样频率一般推荐周期型的采样,比如一台云主机可能每5秒钟暴露一个监控数据点,把相关所有的监控数据指标暴露一次,Prometheus来定实抓取一次,这样就可以形成长期的时序曲线。还有另外一种更偏重业务场景的离散型,比如当某个用户访问时,我在这一分钟内把这个用户访问记录、请求数量标记下,如果他在下一分钟不访问了就不标记,这种采样方式可以显著降低监控量。

下面我们介绍下Prometheus的数据查询语言PromQL。需要指控一个监控指标的名称、聚合维度以及需要指定一个计算因子,我们叫它“算子”。下面介绍一个用户场景:用户A拥有1万台云主机,云主机的监控数据粒度为5秒一个点,如何做到秒出一个月CPU使用率趋势图数据呢?用户在控制台里面不可能等待很长时间,这个时候大概有50亿的数据需要在该次请求里面被访问,这时该怎么做?我们目前采用的方案也是业界通常采用的方案,就是采用降采样+预聚合的方式,将预算前置,大幅度降低数据规模,确保查询的实时性。我们提前把数据规模降下来,比如原来有50亿个原始数据点,通过降采样和预聚合可能只有1万个点了,这时候我们做一个API查询查询出这1万个点,就可以实时反馈给用户系统。

降采样和预聚合是监控数据处理领域最主要的两种计算方式。降采样是指在时间维度上,把细粒度的数据聚合成一个时间粒度更粗的形式。在上面的第一幅图中,原来数据有3个点,每个点5秒钟上报一次,那么这时对这个原始点做一个降采样处理,把3个点通过某种算子聚合成一个点,那么给用户展示的数据粒度其实会变成15秒一个点,数据粒度变得宽泛了,但是返回的数据规模其实降低了3倍,这就是降采样的过程。

跟降采样对比的话,欲聚合是在时间轴上做聚合运算,把数据规模降低,而预聚合是在Y轴value相关的维度上做运算,以此来降低数据规模。假设按照上面来说,用户有1万台云主机,云主机监控数据上面标注了用户的user信息以及云主机的ID信息,这时就需要对每一个时间点做一个预聚合,跨维度预算只保留用户的user信息,把云主机的ID忽略掉,这时候就可以把1万个点通过某种算子聚合成1个点,以此降掉的数据规模达到1万倍。

基于EFK的日志方案

当购买了一台云主机,应用产生了自己的业务应用日志,如何把它采集到服务端并进行统一的展示呢?

我们介绍一个最简单的方案,就是EFK。

在日志方案上,EFK(Elasticsearch、Fluentd、Kibana)是云原生领域最为主流的日志管理方案。Fluentd是CNCF里面毕业较晚的一些项目,它可以把各种数据源的日志进行统一化的采集,利用内置的Pipeline实现采集、处理之后投递的功能。

我们简单介绍一下Fluentd的工作流程。上图是一个典型的Fluentd的配置,主要分为三个block:第一个是source部分,source就是指定采集的日志源,可能是一个文件、一个HTTP接口、也可能是一个TCP。通过定义采集数据源,把数据抓到本地进程里。抓过来之后需要对相关数据做一个匹配处理操作。Fluentd是一个开源项目,支持独立部署,在跟K8S集成的过程中往往需要把它的container信息、workload相关信息都附加过来,这时就需要利用到它的filter功能,为它附加workload上的相关标签,以此达到每一条日志都可以知道它是哪一个workload产生的、哪个APP产生的目的。数据采集和处理完之后,这时就需要把它发到服务端。我们可以在这指定一个type elasticsearch,直接把它投递到ES里边,做一个日志的索引,到时就可以进行相关的检索了。

京东目前的整体方案原理上和这个类似,只不过做了些企业级的支持。我们的采集端做了Fluentd开源适配,会把数据传输到Kafka里做数据的中继,中继下面对接实时分析系统、索引系统等相关系统。

这里展示了数据被采集投递到ES之后,我们用KIbana进行检索的一个事例。左侧我们可以看到容器的ID、name,相关的label也可以采集到,假如我们在自己的工作负载上打一些标签,那么采过来的日志会自动打上这个标签,告诉你这个是应用A还是应用B产生的日志。另外一个是中间件MySQL产生的日志,有了这些标签,它就可以按照业务进行相关检索分析,也可以做相关的数据视图。右边是做数据视图的一个事例,在这展示了不同POD的日志数据量比例,可以看到大概占75%。

京东智联云在云原生监控&日志的落地实践

京东智联云定制了一套监控的标准,分为四层监控:

首先是基础监控,主要是指机器资源、物理机的一些监控,面向K8S集群运维、物理资源相关运维等内容。

其次是存活监控,也叫健康检查,通过简单的手段对应用进行定时探测,每1分钟过来探测一下这个应用是不是健康的。我们可以使用的方式就是进程、端口监控,进行简单的语义监控。

第三部分是应用性能监控。在监控领域,业界通常采用的是谷歌提出的四大黄金指标:流量、数据的错误率、平均延迟以及容量。大家对容量关注的不多,但是PV、平响 、错误码 这三个指标是衡量一个系统健康与否、是否符合预期的重要依据。

最上面一层是业务监控。有时候我们也从用户的视角进行相关的探测,比如打开京东APP的时候,从一个终端用户来看,APP首页的信息接口是不是足够健康、足够快速呢?这时候我们就需要做一些外部的探测。

我们在K8S的监控方案大致如此。云K8S里面我们部署了各种的exporter,比如MySQL服务、ES等,包括用户自定义的应用、自己的监控接口等。

我们同样使用原生的Prometheus对数据进行抓取,整体流程和上面介绍的Prometheus方案是一样的,唯一做的改造不是用本地存储,而是用Remote write的方式,通过京东智联云的openAPI把数据推送到了云监控。云监控数据过来之后,首先做个数据中继推到MQ里,把数据双写到tsdb cache 和tsdb storage里边,再对其中相关的计算任务进行刚才预聚合任务、抽样任务。

这里再详细说一下TSDB。TSDB是我们自研的一款时序数据库,之所以自研就是因为市面上的TSDB不能满足企业级的需要。很多企业都选择了自研。我们刚才介绍到Prometheus是单层应用,它能支撑的量是有限的。当数据规模达到一定程度时,Prometheus就会成为瓶颈,所以不能直接采用Prometheus,必须有一套自己验证大数据量的TSDB解决方案。

我们的TSDB相较于传统的TSDB有以下几个特征:

- 数据压缩:采用gorilla的压缩算法,数据量大幅压缩。数据如果太臃肿的话,内存会消耗大量资源,而通过数据压缩之后,数据体量是极小的,可以加速我们的查询支持。

- 缓存层:内存缓存近28小时的数据,使得查询性能成倍提升,提高了系统的可靠性,目前可以达到几十万的QPS。

- 抽样+路由:灵活的抽样规则,自适应路由,按需使用抽样数据,提高性能。当用户来查询时,28小时之内的数据会让他路由到tsdb cache进行实时的内存查询;如果时间很长,比如用户要查询1个月的数据,那么我们会把它路由到tsdb storage来进行一个全量的查询。

- 预聚合:分布式实时计算框架,热点自发现、自修复。

- 存储与计算分离:计算能力按需伸缩,降低资源成本。tsdb架构采用存储与计算分离的架构,数据可以长期存储,成本极其便宜。

- 全面兼容prometheus接口及语法规范:其实我们现在兼容两种协议:Prometheus和openTSDB,我们云上K8S的对接方案完全就是按照Prometheus的格式进行对接的。

我们的内部监控系统构建依然是围绕着See-konw-act流程的,所以也围绕See-konw-act做了些相关的工作。

如何让用户发现问题呢?如果只能靠用户提前设置指标的话,那么用户的覆盖程度可能会有遗漏,所以系统会自动帮用户做多维度的聚合运算,做相关时序指标的异常检测,比如恒定阈值、突升突降、同环比、3-sigma等方式,看是不是符合动态分布的数据。当我们检测到一条时序不符合的时候会自动触发告警,帮用户更快发现系统的异常。

那如何让用户更快地诊断异常、定位问题所在呢?我们提供相关实时大规模跨维度分析计算能力,也提供异常诊断,即根因定位。我们提供了复杂查询的分析手段,在不影响线上服务稳定性的情况下,允许用户在线上直接做相关请求的抽样,以此来获取更多线上数据信息,来诊断问题、定位问题。

问题被定位之后,该如何执行呢?告警是最简单的,但是我们要保证告警信息的触达能力。假如DNS出了问题,那么整个网络就瘫痪了,但是监控系统是不能瘫痪的,所以我们也做了相关的稳定性保障:当网络瘫痪的时候,我们的告警依然能够触发出来。另外,告警的分组、收敛、分级、升级以及屏蔽都是企业级需要的功能。

京东智联云云原生监控实践

上一期我们讲了京东智联云的DevOps,DevOps最终应用发布之后就到了运维和监控环节。线上应用发布之后,我们需要观测它的运行指标,当线上出现异常时,我们观测它的日志以便我们定位问题。我们还可以从外部进行判测,比如我可以从广州电信、河南联通分别探测服务是不是可以正常访问,这就是我们京东智联云的云拨测服务;当云主机重启、K8S产生一系列事件时,我们的云事件服务会通知用户做一些相关的告警以及自动化操作——这就是我们的运维和监控体系。

值得留意的是,京东智联云还为本次课程设置了「课后作业」环节,这个环节基本综合了前三节云原生所讲的相关知识,可能会有一定难度:

我们分享了一个源码系统,需要大家在京东智联云上编译源码,构建成一个镜像,以便形成镜像之后可以在K8S里面进行相关部署;在K8S上发布应用,发布之后需要对系统进行相关观测,在云监控里完成监控告警,需要让我们收到相关的告警通知、短信通知。

想体验实操课程的朋友可以添加小助手(备注“监控”),领取课程云资源包和实操文档。

TIPS:在这样一顿操作之后,很多参加课程的小伙伴都纷纷表示我们这个系列的课程「帮助开发者深入监控和日志的世界」,并对下次课程充满期待!

这里提醒大家一下,《六周玩转云原生》的第六期课程“剖析Serverless的前世今生”,从云原生的定义开始,详解Serverless 对于云原生的价值、挑战,并深入探讨Serverless 的架构设计模式与落地应用。将延续这一期干货满满的画风哦!

小伙伴们千万不要错过!

扫码关注社区,追踪更多课程信息吧

????????????

云原生的时代已来,而你,也将成为这个新时代的构建者之一!

划重点!

   后台回复【PPT200415】获取课程PPT 

   扫描下方二维码获取实操文档

  

推荐阅读:

在线公开课 | 读完这篇,轻松开启Kubernetes之旅

在线公开课 | 云原生的基石,一文读懂容器、Docker、Pod到底是什么

在线公开课 | 京东云监控系统设计及落地之路

在线公开课 | 云原生下的DevOps与持续交付

相关推荐

京东云推出全新JoyCode智能编码工具,让AI Coding从代码生成走向成果交付

全新JoyCode结合项目背景与任务目标,通过Agent Loop持续规划、执行、验证与迭代,并支持多智能体并行协作、模型灵活配置及工具与流程复用,贯通从需求分析到开发验证的任务链路,推动AI Coding从代码生成走向可运行软件与可用工具的成果交付。模型使用的关键,不只是选择更强的能力,而是让投入与任务需要相匹配。作为面向严肃开发场景的企业级编码产品,京东云JoyCode所拓展的,不只是代码生成的能力,更是将专业经验与日常灵感付诸实现的路径,让技术承接实现过程中的繁复,让人更专注于问题、判断与创造。

京东科技开发者 45

GPT-6凌晨上线智能UI:智能UI时代的技术架构重构与应对之道

从命令行到图形界面,计算机行业用了三十年证明了同一件事:人类需要视觉的、空间的、可重复的交互表面,纯文字从来只是过渡形态。智能界面的出现,意味着AI行业第一次大规模承认了这个规律——对话是创造的接口,界面是使用的归宿。生成的界面如何稳定下来?个人的数据与身份如何安全地沉淀?Agent的行动能力如何可信地放大?谁能把这三个问题答好,谁就站在了Personal Agent图形界面时刻的浪潮之巅。

京东科技开发者 226

AI 会写代码之后,交付为什么还没变快?

AI 写代码,只是这场变革的起点,而不是终点。真正决定一个组织能否吃到 AI 红利的,不是"能不能用 AI 写出代码",而是敢不敢用 AI 重新设计交付流程、重新划分角色分工、重新组织团队结构。研发视角能把工具和个人推到极致,却会在组织的边界前止步;只有站上组织视角,把AI × 工具一路推进到AI × 组织,那些被 AI 照出来的摩擦,才会真正被抹平。国际技术部 Multi AI Native 想做的,正是这件事——让 Agent 成为你可靠的数字战友,让每一次迭代交付都快一个量级;

京东科技开发者 315

OxygenData-Vibe搭建:用 AI Coding重新定义数据看板搭建

长期以来,数据看板开发主要有两种方式:一种是使用标准化 BI 工具,交付快、成本低,但图表样式、交互体验和功能扩展都受限于 BI 本身的能力;另一种是自研定制开发,能够充分满足复杂和个性化需求,但需要投入大量研发资源,交付周期也更长。比如一个通过 BI 只需要 1 天就能搭建出来的看板,如果采用自研方式,可能需要投入 30 PD 的研发人力。既然 BI 交付这么快,为什么不把所有看板需求都交给 BI?原因在于,业务某些场景需要的不只是把数据展示出来。

京东科技开发者 377

当我谈数据库高可用时我谈些什么

大家都经常听到说数据库的双1,那双1指的是什么呢?参数=1(最安全)≠1(更快但可能丢)每次提交都把 redo 刷盘0/2:攒着刷,崩溃丢最近 1 秒每次提交都把 binlog 刷盘0/N:攒着刷,崩溃丢最近若干条"双 1"(都设为 1)= 单机不丢已提交事务的前提。生产核心库必须双 1;代价是每次提交两次 fsync。小结:单机层用 WAL 提速、用 2PC 保证 redo/binlog 一致、用崩溃恢复裁决半成品事务、用双 1 兜底持久性。

京东科技开发者 322

ScoAI:面向供应链的运筹原生决策智能

ScoAI 关注的并非 AI 能否进入供应链,而是 AI 参与供应链决策之后,哪些内容适合通过数据学习,哪些关系必须显式计算,以及哪些结果需要依据执行记录进行验证。其基本分工是:供应链业务定义问题、资源与行动后果,运筹学表达目标、约束和协同关系,AI 提供可复用的估计与判断。真正用于改进后续决策的,不仅是模型生成的初始结果,还包括实际采取的行动及其产生的业务反馈。

京东科技开发者 407

拆解海博 AI-Native 落地保障:海博团队 AI 知识库能力建设

绕了一大圈,回头看,我们其实一直在解开头那三个结:AI 读不懂系统、影响面靠人脑记、测试预期没处查。做到这里,本质上是把"AI 用不好"这个问题,从"是不是该换个更强的模型"重新定义成了"怎么把上下文经营好"。顺着这个思路,我们攒下了这么几样东西:•。

京东科技开发者 563

从零构建一个生产级记忆型 AI Agent —— AgentScope 项目全景技术与学习指南

domain 层端口接口(domain)职责适配器实现(infra)对话流水账读写经验记忆检索/落库请求级幂等四态会话元数据 CRUD会话级 Skill 选择态Skill 元数据HITL 权限网关(domain 内含逻辑,见第四篇)StreamSink技术中立的流式下沉(client 层桥接)以幂等端口为例,头部注释明确写道:实现 domain 端口,持有实体不出 infra 边界,对外只暴露嵌套视图GateResult。

京东科技开发者 615

数据涅槃:Agentic 重塑搜推数据生产体系

当前大模型已经能够理解需求、生成代码和解释错误,但数据生产的难点并不只是“写出一段 SQL”。一个需求还要经过数据源确认、口径澄清、加工编排、资源规划、任务提交、调度运行、结果交付和故障处置。任何一步缺少都可能让“看起来正确”的任务变成生产事故。

京东科技开发者 384

81.8 秒的视频,我们改了 15 个版本:一次纯 Codex 驱动的 AI-native 视频实践

81.8 秒、15 个版本,这些数字真正想说明什么?视频制作正在从一组专业软件里的复杂操作,变成一场围绕目标、参考和反馈展开的持续对话。AI 已经可以接住从脚本到交付的大量工作。你可以把精力留给更重要的部分:理解观众、选择故事、判断好坏。过去停在 PPT 和脑海里的想法,现在有机会被快速做成一支能看、能改、也愿意转发的视频。如果明天就要介绍你手头的项目,你最想先把哪一步交给 AI?

京东科技开发者 470

Codex 驱动的移动端AI全栈开发:从 Relay 原型图到可交付链路

AI 编程工具降低了跨端开发门槛,但“让 AI 写页面”并不等于“完成移动端交付”。PC 运营端页面通常以功能闭环为中心,设计约束较弱,研发可以基于组件库快速搭建;移动端 C 端页面直接面对用户,Relay 原型图和 UI 设计稿不仅是视觉参考,更是交互、信息层级、状态反馈和业务信任感的综合契约。

京东科技开发者 596

Claude Code vs Codex 记忆体系深度对比

Claude Code —— 分层自动记忆系统四层分层架构(CLAUDE.md / Auto Memory / Session Memory / AutoDream)构成自优化闭环,系统主动捕获、分类、去冗并跨会话接力经验。走的是自动化优先路线——让机器替人记忆、替人整理,以少量可控性的不确定换取强大的经验积累能力。Codex —— 声明式契约系统两层扁平架构(AGENTS.md 静态声明层 + 会话上下文层),记忆完全由人显式订立、显式修改,系统只读契约、绝不擅自变更。走的是可控性优先。

京东科技开发者 631

上游给空、下游拿到 -1,我把故障一直追到了 commons-beanutils 的构造函数

这篇手记是一份事后复盘,写在我们已经把修复推上线、把测试用例跑绿、把约束文档沉淀进团队库之后。非研发同事,可以直接从第八章开始看,前七章都是讲排障和代码分析。故障本身不复杂,修复也不复杂,但这次排查真正让我想写下来的,不是技术本身——而是从问题提报到解决全程AI的作用:问题定位:业务方反馈了一个异常单号说「下发失败」,一线运维同事直接在日志系统捞到相关的系统日志,用IDE打开下游代码库,把异常信息给到JoyCode——AI 直接指向了问题是serialType值非法,系统只接受0和1,而当前上游给的是-1。

京东科技开发者 720

SKill测评:谁才是真正的Skill之王?

巧合的是,阿里近期开源了一款名为 Skill-Up 的测评工具——它专门面向 Agent Skill 开发者,支持在 Claude Code、Codex、Qoder CLI 等真实 Agent Engine 环境中验证 Skill 的功能正确性,并可将失败用例转化为精准的修复指引,同时支持本地与 CI 环境的持续回归。2026年,Skill 的热度不减,已成为 AI 辅助编程领域的标配。在日常研发中,无论是沉淀个人经验,还是将团队的优秀范本标准化,将知识“蒸馏”为 Skill 已是大家的常规操作。

京东科技开发者 641

让AI真正参与工作!JoyDesk已上线京东云

JoyDesk提供覆盖AI资产管理、权限控制、安全策略、审批审计、运营监控等企业级治理能力,支持按组织、角色和项目进行精细化权限管理,并支持私有化部署,确保企业数据边界清晰、AI行为全程可追溯、安全策略灵活可配置,满足金融、政企等行业对数据安全和合规治理的要求,让AI真正成为企业可信赖的生产力。JoyDesk支持MCP协议、标准API、技能等多种开放接入方式,可快速连接企业现有业务系统,将业务能力封装为AI可调用的技能和专家,让AI能够理解业务流程、调用业务系统、完成业务任务,而无需改变企业原有IT架构。

京东科技开发者 674

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手【最终版】

这个项目展示了AI Agent 在垂直内容创作领域端到端自动化:从内容理解到播客输出,全流程 AI 驱动多模态融合:文字、图片、音频、视频统一处理专业级音频质量:音色设计 + 智能混音,输出广播级品质低门槛使用:可视化配置 + 自然语言交互,无需技术背景。

京东科技开发者 564

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(高级篇)

这是一个 AI 驱动的播客创作助手,专注于从文字/视频/音频内容识别到播客制作的全流程。你可以用自然语言与它对话,也可以上传视频和音频,它会理解意图、调用相应的语音合成工具,把他们变成真实的播客音频。

京东科技开发者 728

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(进阶篇)

这是一个AI 驱动的音频内容创作助手。你可以用自然语言与它对话,它会理解意图、调用相应的语音合成工具,把文字变成真实的播客音频,并保存在本地。关于项目的详细介绍见第一篇文章:第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)这篇文章更多介绍进阶篇添加的功能。

京东科技开发者 552

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)

这个项目让我第一次把前端、后端、AI Agent 三块内容独立串联起来。技术选型上每一块都是当下主流的方案,实际跑通整条链路之后对"全栈"有了更具体的感受。框架版本要锁定:LangChain 这类快速迭代的框架,版本差异带来的问题远比你想象的多先跑通链路,再追求完美:新手阶段能把用户输入 → AI 处理 → 结果展示这条链跑通,比深入某个技术点更有价值多看官方文档:相比博客和教程,官方文档更新及时,特别是 LangGraph 这种新框架后续计划继续迭代,欢迎交流!

京东科技开发者 610

ICLR 2026 | 面向序列决策的贝叶斯集成方法

在这篇工作中,我们关注的是。

京东科技开发者 296

ICML 2026|NaviAgent:面向 Oxygen 智能体的可扩展工具编排

大型语言模型(LLM)越来越多地作为函数调用代理,调用外部工具来处理超出其静态知识范围的任务。然而,它们通常一次只调用一个工具,缺乏对任务结构的全局视图。由于工具之间往往相互依赖,这会导致错误累积和可扩展性差,尤其是在扩展到数百或数千个工具时。为了解决这些局限性,我们提出了NaviAgent,一种显式的双层架构,它通过基于图的工具关系建模将任务规划与工具执行解耦。在规划层,基于 LLM 的代理决定是直接响应、澄清意图,还是检索并执行一个独立于工具间复杂性的工具链。

京东科技开发者 389

实测 9 款 AI 架构图工具:从 Mermaid 美化到 GPT-Image2,一份选型清单

支持 5 类图(架构图、工作流图、时序图、数据流图、生命周期/状态机图),主题 4 种(Classic、Signal Flow、Blueprint、Editorial)+ 3 种色彩模式(Dark / Light / System Auto),输出格式含 HTML、PNG、SVG、WebM、Share Card PNG、JSON IR。它把提示词图库、图像生成案例、参考图编辑流程和命令行工具整合在一起,让 AI Agent 能直接调用 GPT Image 2 模型完成文生图、图生图、参考图编辑等任务。

京东科技开发者 908

别再守着 Claude Code 了——学会指挥它自主干活

回到开头那句:别再一句一句地喂它、然后守着屏幕。真正的用法是——把一件事想清楚、划好边界、给它一个能自我验证的目标,然后交出去。你会发现,省下来的时间不是一点半点。把重复的判断和执行还给机器,把真正需要你的判断留给自己。

京东科技开发者 587

CVPR 2026|Oxygen XR 团队在原生鱼眼高斯泼溅技术上带来新突破

京东零售技术团队联合清华大学提出DirectFisheye-GS框架,创新性地将鱼眼相机模型原生嵌入3D高斯泼溅管线,通过跨视角联合优化策略直接处理鱼眼图像,避免了传统去畸变预处理导致的信息损失。该方案在多个公开数据集上达到SOTA性能,有效解决了单视角优化引起的几何畸变和视角不一致问题,同时保持与现有3DGS工具链的兼容性。技术已应用于电商3D重建和4D体积视频等场景,显著提升了沉浸式体验。相关论文被CVPR 2026接收,为宽视场场景重建提供了高效解决方案。

京东科技开发者 355

拆解海博 AI-Native 落地保障:Harness、双 Loop、知识库与技能自主迭代实践

海博研发RoadMap 的落地,彻底终结了 AI 编程“对话式玄学”的旧模式,真正落地了AI Native 研发工程化。它证明 AI 规模化赋能研发的核心,不在于堆砌大模型能力,而在于用工程思维重构 AI 的工作范式:用结构化流程替代随机对话,用固化规则约束模型行为,用持续沉淀实现能力复利,用分层架构支撑规模化落地。

京东科技开发者 638

让 AI 快速「读懂」你的代码仓:Joy-Code-Graph 云端图谱服务的三次进化

代码知识图谱不是要取代 AI 的智能,而是要补齐它对代码全局关系的认知盲区。当 AI 能一眼看清「谁调用了谁、改动会波及哪里」,它写出的代码才真正靠谱;当这份认知安全地留在自己手里、随时被 Joygen 调用、并且永久沉淀在代码仓里——AI 编程的体验,才算真正上了一个台阶。这,就是我们做 Joy-Code-Graph 云端服务的初衷。能力共享,数据自主;一次建图,长期受用。

京东科技开发者 752

【Coding生态】从代码托管到 AI 能力底座:与Coding一起共建 AI 研发生态

前两种框架能够很好地支撑对话式能力和预设流程式能力。它们适合基于提示词或预设工作流完成研发问答、知识查询、流程编排等任务。但在更复杂的研发场景中,仅仅“回答问题”还不够。当用户业务逻辑复杂时,一旦场景进入真实落地阶段,例如下载代码、修改文件、执行命令、安装依赖、运行测试、读取完整代码文件,或者与自有系统联动、将结果渲染到 Coding 页面、推送到京 ME,AI 应用需要的不只是知识能力,还需要真实的代码库操作能力和独立可执行环境。

京东科技开发者 768

GPT-5.6、ChatGPT Work 与 Codex 更新食用指南

三档模型当前都提供 1,050,000 tokens 上下文、922,000 tokens 最大输入和 128,000 tokens 最大输出,接受文本与图像输入、输出文本,并支持 web search、file search、Computer Use、MCP、Tool Search、Skills、Apply Patch 等工具。Work 可以读取你提供的文件,通过插件连接 Slack、Google Drive、SharePoint、邮箱、日历、CRM 或项目系统,调用获批工具,并在执行中展示进度。

京东科技开发者 873

把业务流程沉淀成高质量 Skill 的实践路径

使用Record & Replay创建的Skill,尽管创建流程简单,但它的本质实际是让 AI 去操作页面,这不但有可能影响我们对电脑的操作,还有可能无法稳定复现。创建Skill时,可以使用 Codex 的 Record & Replay 插件,把一次手工操作录下来,再让 AI 生成可复用流程。刚开始切换时,很容易遇到接口报错,可以让Codex排查原因进行优化,直到可以稳定执行;补充相应业务背景,说明这件事为什么要做,谁会用,输入从哪来,输出给谁看。电脑休眠、关机、软件没开时,本地任务可能无法执行。

京东科技开发者 836

政企前台AI-Agent的架构实践:打造可复用的 AI 服务平台-【灯塔计划】

不止是爆火的龙虾,还是各种Skills,MCP、Agent,脱离的具体的场景谈方案,最后只会是一场空。这一套可复用的 AI 服务平台,截止目前,通过前后端对接规范文档,多项能力已快速接入到各个场域的不同端平台,大幅降低研发成本, 并且各业务线新场景的接入从原来的 “开发驱动” 转为 “配置驱动”,接入周期从天维度缩短至小时级。

京东科技开发者 864
上一篇: 京东小程序开放平台正式发布- 新服务!新体验!
下一篇: PPT | 监控与日志的黄金法则
京东云开发者
京东云开发者 企业官方账号 企业官方账号
博客等级 码龄8年 1万+粉丝 2141原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值