亿级数据库毫秒级查询?看完这一篇,海量数据赋能你也行

近年来,随着大数据分析技术的普及和物联网产业的兴起,越来越多的企业开始重视海量数据的收集和分析处理活动,希望从庞大的数据资料中挖掘出高价值的信息和洞见。而在数据规模快速膨胀的同时,企业对数据处理平台的软硬件基础设施也提出了更高的要求,并在这一领域催生了很多高水平的前沿技术变革。

在这样的趋势下,由俄罗斯 Yandex 开发的一款名为 Clickhouse 的数据库产品就在众多竞争者中脱颖而出,凭借十亿乃至百亿行的数据规模下依旧具备秒级返回能力的卓越性能,赢得了全球众多大厂的青睐。Clickhouse 究竟有怎样的独门绝技,如何做到如此强悍的性能表现,实践中又是如何在主流云平台上部署和优化的?9 月 22 日,来自京东智联云云产品研发部的架构师王向飞老师做客 InfoQ,介绍了 Clickhouse 数据库在京东智联云的落地应用与优化改进经历,为想要深入了解 Clickhouse 的小伙伴们送上了一堂干货满满的技术分享课程。

本文总结自王向飞老师的在线公开课:《Clickhouse 在京东智联云的大规模应用和架构改良》。

根据数据库处理的业务数据量,以及处理数据的不同方式,人们把数据库分为 OLTP 和 OLAP 两大类型。由俄罗斯 Yandex 搜索引擎公司开发并开源的 Clickhouse 数据库,其初始定位就是 Yandex 内部的分析型数据库,符合 OLAP 类型数据库的实现特点。Clickhouse 的性能超过了很多流行的商业数据库,已经得到了包括 CloudFlare、Spotify、阿里云、腾讯云、京东智联云、今日头条、携程等诸多头部大厂的采用。

OLTP vs OLAP

常见的 Oracle、MySQL 等数据库都属于 OLTP 类型,也就是 On-Line Transaction Processing,联机事务处理。OLTP 数据库处理请求和数据时对延迟要求很高,并且要保证数据的完整性和一致性。此类数据库是面向最终客户的,需要具备 7x24 不间断服务能力。

OLAP 的含义是联机分析数据处理,这种数据库需要存储海量、但很少更新修改的数据,主要用于多维度历史数据分析统计目的。出于这种需求,OLAP 数据库需要确保足够高的查询效率,至少 90% 的请求要在很短的时间内返回。

另一方面,OLAP 数据库并不是直接面对最终客户,而是更关注数据吞吐,要求海量数据尽快持久化,为业务决策、战略定位和分析、个性化推荐等任务提供分析统计能力,所以这类数据库中的查询一般都是较低频的。

Clickhouse 的关键特性:列式存储

基于 OLAP 数据库的特点,Clickhouse 采用了基于列的数据存储引擎。传统的行式数据库在存储信息时,是在数据库中按顺序逐个记录的。以用户注册信息为例,行式数据库会将每个用户的姓名、职业、年龄等数据依次记录下来。当业务需要查找注册用户的职业或年龄分布时,数据库需要打开所有存储用户注册信息的文件,遍历全部数据行,依次挑出所有职业和年龄信息进行汇总。使用这种方式,查询遍历的数据往往远大于所需的数据大小,对 IO 能力会造成严重浪费。

相比之下,列式存储会将数据分为多个属性列,例如用户注册信息分为职业、年龄等多个属性,并按这些属性列分为多个文件分别存储。这样当查询需要获取其中某些属性的数据时,只需查找对应文件即可完成,大大节约了 IO 需求。

以一个包含 1 亿条数据的测试表为例,一个简单的 count 查询在 MySQL 上需要两分多钟,而在列式存储的 Clickhouse 数据库上仅用不足 1 秒就返回了结果。那么,Clickhouse 具体都使用了哪些技术来实现如此高的效率提升呢?

B+Tree vs MergeTree

在深入研究 Clickhouse 之前,我们首先以传统的 MySQL InnoDB 的存储格式来做对比。


从 InnoDB 的逻辑结构图可以看到,在 InnoDB 中所有数据会被放在表空间内。表空间可以看作是 InnoDB 的逻辑最高层,由多个段组成,段又分为数据段、索引段。数据生成时按顺序写入数据段,随着数据记录的增多,InnoDB 会将一些主键值放到索引段内以实现快速定位。

随着数据量不断增多,数据库形成了名为 B+Tree 的树状结构。这个树有层级结构,会横向生长,其查询的复杂度取决于树的高度。B+Tree 的数据节点一般存储主键值,根据主键查找时可以通过叶子节点大概定位数据页,之后直接读取数据页即可。


而 Clickhouse 的数据架构类似关系型数据库,其中包括了解析器,主要负责将 SQL 语句通过词法分析、语法分析等转换成计算机可读的抽象语法树。另外还有优化器,逻辑优化负责优化抽象语法树的逻辑,比如简化一些长难运算表达式,做一些语义优化等。物理优化则负责生成可以直接执行的物理执行计划,指导数据库管理系统如何获取数据表、如何进行数据 join、排序等等。

Clickhouse 的物理执行计划可认为是一个数据流图,也就是数据的有向无环图。在这个图里,数据从一个管道传到另一个管道,也就是从一个操作符传到另一个操作符。查询执行器是用来执行计划的引擎,它会从存储引擎中取出数据,并返回给客户端。


如上图,Clickhouse 在启动时加载配置信息,然后根据不同的解析协议监听不同的服务端口。客户端发送来 SQL 请求后,首先它会对 SQL 进行语法解析,然后生成抽象语法树,并进行一系列的逻辑优化、物理优化,生成执行计划。接下来由不同的执行器根据 SQL 请求来将执行计划分发到本地或远端的存储引擎,从存储引擎中取出数据。数据经过一系列的计算加工后返回给客户端,客户端就可以输出缓冲区读取查询结果。

MergeTree 存储过程

相比 InnoDB 使用的 B+Tree,Clickhouse 使用的是 MergeTree 存储引擎来存储数据。这里以一个 Clickhouse 表为例:


本例中,我们根据出生日期做一个数据分区,主键选用用户的名字,并设置 SETTINGS index_granularity=3。表建成后插入 10 条记录,分为 2001 年 3 月和 2001 年 2 月两个数据区间。表建完、数据写完以后,Clickhouse 默认会在数据文件存放路径下建一个相应的表名:


这里可以看到,10 条数据分了两个文件夹来存储。文件夹命名时,其第一部分是分区键,也就是出生日期;1_1(2_2)代表每个数据分区内数据块最小块和最大块的编号。最后的数字 0 代表合并层级。


上图是 MergeTree 中对 Data part 进行元数据管理的结构体。其中,partition id 代表数据所处的分区 id;min block、max block 代表数据写入的版本信息——用户每次批量写的数据都会生成一个 Data part,同一批写入的数据会被标记为唯一的 block number。MergeTree 存储引擎后台会定期通过异步任务合并数据,且只会合并位于同一个数据分区内的数据,还要求 min block 和 max block 数据区间必须是连续非重合的。

第四个 level 字段默认新插入的数据都是 0,之后会随着合并次数的增加在原来的基础上依次增大。下面的 mutation 字段在数据更正时使用。如果要进行数据的更正操作,Clickhouse 会默认给 mutation 字段进行标记和更新。


虽然测试数据只有一张表 10 条数据,但它会在磁盘目录上生成大量文件。具体来说,Clickhouse 默认每一个列生成一个文件,默认数据文件放在 bin 文件里。每一个数据分析目录下生成一个 count 文件,记录分区里有多少行数据。


本例中,建表时设置的 SETTINGS index_granularity 设为 3。插完数据以后观察主键索引,可以发现它会把主键以每 3 条记录为一个区间,将主键信息存储在 primary.idx 里。


结合前文例子来看数据全景。假设下面绿颜色的就是要写入的一批数据,存放用户的名字;假设每个名字占用 4 个字节,可以看到绿颜色上边有一个 granule,写的是 8192。指定 granule 是 8192 之后,数据在写入时会放到一个具有缓冲区的 OutPort 流中,按照一个 granule 一个 granule 来写;写完第一个 granule,当发现这个缓冲区内数据大小超过 64KB,这时就会把数据进行压缩落盘,放在下边的粉红色文件块里。落数据块时会先写一个文件头,文件头由三部分组成,如上图所示。

第二段 8192 的数据,压缩完之后数据块可能比较长一些;可以发现,数据每次写入就会产生两个文件。一个是 bin 文件,也就是压缩后的数据文件。另一个文件就是主键 index 文件。但这样以来,在数据查询时不知道数据究竟在数据文件里的哪一块,不知道该怎么拆分 bin 文件,如果把整个 bin 文件都加载内存以后扫描,效率是会很差的。为了解决这个尴尬的问题 Clickhouse 引入了 mrk 文件。写数据文件的时候会把 bin 文件头信息写到 mrk 文件里。比如说第一块数据写完之后,会把起始位置、解压缩后的位置、解压缩前的位置放在 mrk 这个文件块里, 作为一行记录。查询时直接根据主键 index 记录的偏移量找到对应的 mrk 记录的某段数据的起始位置,之后读取数据即可。

MergeTree 也有一些异步任务处理,主要有三部分:首先是定期把一些有问题的、提交失败的、或写失败的数据文件清理掉;然后是定期把一些比较琐碎的插入语句生成的小文件块合并为大的文件块;还有偶尔有一些更正,例如数据的更新删除生成的临时文件,MergeTree 也会把对应的数据文件汇总成一个比较大的 Part。

智联云选择 K8s 部署的原因

京东智联云基于现有的云平台部署 Clickhouse 时,是基于 K8s 团队提供的强大运维调度平台来实现的。之所以选择基于 K8s 来部署有几方面原因:

  • 首先,K8s 可以屏蔽底层的环境差异,使用户无需再具体关注主机网络、存储、API 接口等变化,只需将精力集中到数据库管理开发任务上。

  • 其次,构建这个 JCHDB 平台并不只是为京东智联云内部使用。这个平台构建完成后,不仅可以在公有云上给客户提供服务,并且在私有化部署或者跨云部署时,都可以完全不用对架构做任何修改直接部署。

智联云部署 Clickhouse 的流程

数据库系统是一个比较复杂的有状态业务系统,分片跟副本之间有状态关系,这时候就需要维护 Pod 与 Pod 之间的关系,K8s 为此提供了 operator 功能。京东智联云二次开发了开源的 Clickhouse operator,丰富了 operator 的 API 功能,并且为安全生产的需要给它打上一些额外的标签,控制 Pod 调度的亲和性,防止主从副本落到同一个物理机上。


这个 operator 开发部署完毕,安装到 K8s 以后,K8s 就有了管理调度 Clickhouse 状态的能力。在它的外部会借助 helm 系统,将提前定义好的一些表单发送给 K8s,由 K8s 来根据表单里定义的这些参数来创建需要的实例。

除了创建最基础的 Clickhouse,如果需要有复制关系引擎,它也会一同创建 Zookeeper;同时为了丰富监控能力,便于 DBA 进行服务器的运维监控,它还会创建一个 Promethus,还有可视化的 Grafana。这样它就可以直接在 VPC 里通过 Grafana 来监控数据库的运维状态。

这个服务还会创建一个绑定 headless service ip 地址的域名,用户可以通过这个数据库域名直接连到这一套 Clickhouse 系统上。由上图右可见,这个 Pod 的底层存储使用了京东的云硬盘,它会在建 Pod 时申请一个 PVC 控制器,PVC 控制器会绑定京东云硬盘。这样就形成了计算与存储分离的架构,可以进一步提升计算能力。

京东智联云目前在高性能、高可用和可扩展层面上都有自己的特色:

  • 高性能方面,智联云采用最新一代的云主机,CPU 最大可以支持 64 核心,单个 Pod 最大可以扩展到 512G 内存。

  • 高可用方面,智联云借助 K8s 调度管理平台,发现有 Pod 不可用时 K8s 会自动将这个 Pod 剔除。同时平台会新建一个 Pod,基于 StatefulSet 机制将被删除的 Pod 所绑定的云盘挂到新 Pod 上。这样如果有实例由于某些硬件原因出现问题,可以在分或秒级完成实例替换。

  • 可扩展方面,智联云基于云主机、云硬盘的一些基础组件,提供了一些灵活的扩展接口,可以直接在原地扩容。智联云支持热扩容,可以在不影响用户使用的前提下,在分钟级甚至秒级就可以完成 CPU 数量、内存容量或磁盘空间的扩容。

京东智联云还提供了完善的监控体系,可以帮助 DBA 更好地观察的数据库的运行状况。平台不但提供了 service 级别的数据库监控,同时还能把所有 Pod 所使用的磁盘空间、CPU、内存都展示给用户。有了这些信息,用户可以更加直观地观察到每一个 Pod 的压力分布情况,进而方便灵活地调整数据压力,避免某个 Pod 出现数据瓶颈。

根据这些监控的目标,用户可以灵活地定义告警信息。智联云支持多维度数据告警,可以通过邮件、短信、微信等形式告警。

Clickhouse 自身具备强大的数据处理能力,还能很好地兼容 SQL 语句。但在实际设计和使用过程中,不能仅仅把它当成一个传统关系型数据库的增强替代品,这样可能会限制 Clickhouse 的潜力发挥。企业需要对传统的数据仓库、设计理念,以及数据上下游的流转方式做出改进,发挥想象力和创造力,更好地利用 Clickhouse 的列式存储、并行计算等数据能力,为数据业务创造更大价值。

京东智联云的 Clickhouse 目前正在产品公测,欢迎大家使用。

点击【阅读原文】获取课程视频

相关推荐

京东云推出全新JoyCode智能编码工具,让AI Coding从代码生成走向成果交付

全新JoyCode结合项目背景与任务目标,通过Agent Loop持续规划、执行、验证与迭代,并支持多智能体并行协作、模型灵活配置及工具与流程复用,贯通从需求分析到开发验证的任务链路,推动AI Coding从代码生成走向可运行软件与可用工具的成果交付。模型使用的关键,不只是选择更强的能力,而是让投入与任务需要相匹配。作为面向严肃开发场景的企业级编码产品,京东云JoyCode所拓展的,不只是代码生成的能力,更是将专业经验与日常灵感付诸实现的路径,让技术承接实现过程中的繁复,让人更专注于问题、判断与创造。

京东科技开发者 66

GPT-6凌晨上线智能UI:智能UI时代的技术架构重构与应对之道

从命令行到图形界面,计算机行业用了三十年证明了同一件事:人类需要视觉的、空间的、可重复的交互表面,纯文字从来只是过渡形态。智能界面的出现,意味着AI行业第一次大规模承认了这个规律——对话是创造的接口,界面是使用的归宿。生成的界面如何稳定下来?个人的数据与身份如何安全地沉淀?Agent的行动能力如何可信地放大?谁能把这三个问题答好,谁就站在了Personal Agent图形界面时刻的浪潮之巅。

京东科技开发者 230

AI 会写代码之后,交付为什么还没变快?

AI 写代码,只是这场变革的起点,而不是终点。真正决定一个组织能否吃到 AI 红利的,不是"能不能用 AI 写出代码",而是敢不敢用 AI 重新设计交付流程、重新划分角色分工、重新组织团队结构。研发视角能把工具和个人推到极致,却会在组织的边界前止步;只有站上组织视角,把AI × 工具一路推进到AI × 组织,那些被 AI 照出来的摩擦,才会真正被抹平。国际技术部 Multi AI Native 想做的,正是这件事——让 Agent 成为你可靠的数字战友,让每一次迭代交付都快一个量级;

京东科技开发者 318

OxygenData-Vibe搭建:用 AI Coding重新定义数据看板搭建

长期以来,数据看板开发主要有两种方式:一种是使用标准化 BI 工具,交付快、成本低,但图表样式、交互体验和功能扩展都受限于 BI 本身的能力;另一种是自研定制开发,能够充分满足复杂和个性化需求,但需要投入大量研发资源,交付周期也更长。比如一个通过 BI 只需要 1 天就能搭建出来的看板,如果采用自研方式,可能需要投入 30 PD 的研发人力。既然 BI 交付这么快,为什么不把所有看板需求都交给 BI?原因在于,业务某些场景需要的不只是把数据展示出来。

京东科技开发者 382

当我谈数据库高可用时我谈些什么

大家都经常听到说数据库的双1,那双1指的是什么呢?参数=1(最安全)≠1(更快但可能丢)每次提交都把 redo 刷盘0/2:攒着刷,崩溃丢最近 1 秒每次提交都把 binlog 刷盘0/N:攒着刷,崩溃丢最近若干条"双 1"(都设为 1)= 单机不丢已提交事务的前提。生产核心库必须双 1;代价是每次提交两次 fsync。小结:单机层用 WAL 提速、用 2PC 保证 redo/binlog 一致、用崩溃恢复裁决半成品事务、用双 1 兜底持久性。

京东科技开发者 324

ScoAI:面向供应链的运筹原生决策智能

ScoAI 关注的并非 AI 能否进入供应链,而是 AI 参与供应链决策之后,哪些内容适合通过数据学习,哪些关系必须显式计算,以及哪些结果需要依据执行记录进行验证。其基本分工是:供应链业务定义问题、资源与行动后果,运筹学表达目标、约束和协同关系,AI 提供可复用的估计与判断。真正用于改进后续决策的,不仅是模型生成的初始结果,还包括实际采取的行动及其产生的业务反馈。

京东科技开发者 408

拆解海博 AI-Native 落地保障:海博团队 AI 知识库能力建设

绕了一大圈,回头看,我们其实一直在解开头那三个结:AI 读不懂系统、影响面靠人脑记、测试预期没处查。做到这里,本质上是把"AI 用不好"这个问题,从"是不是该换个更强的模型"重新定义成了"怎么把上下文经营好"。顺着这个思路,我们攒下了这么几样东西:•。

京东科技开发者 565

从零构建一个生产级记忆型 AI Agent —— AgentScope 项目全景技术与学习指南

domain 层端口接口(domain)职责适配器实现(infra)对话流水账读写经验记忆检索/落库请求级幂等四态会话元数据 CRUD会话级 Skill 选择态Skill 元数据HITL 权限网关(domain 内含逻辑,见第四篇)StreamSink技术中立的流式下沉(client 层桥接)以幂等端口为例,头部注释明确写道:实现 domain 端口,持有实体不出 infra 边界,对外只暴露嵌套视图GateResult。

京东科技开发者 616

数据涅槃:Agentic 重塑搜推数据生产体系

当前大模型已经能够理解需求、生成代码和解释错误,但数据生产的难点并不只是“写出一段 SQL”。一个需求还要经过数据源确认、口径澄清、加工编排、资源规划、任务提交、调度运行、结果交付和故障处置。任何一步缺少都可能让“看起来正确”的任务变成生产事故。

京东科技开发者 386

81.8 秒的视频,我们改了 15 个版本:一次纯 Codex 驱动的 AI-native 视频实践

81.8 秒、15 个版本,这些数字真正想说明什么?视频制作正在从一组专业软件里的复杂操作,变成一场围绕目标、参考和反馈展开的持续对话。AI 已经可以接住从脚本到交付的大量工作。你可以把精力留给更重要的部分:理解观众、选择故事、判断好坏。过去停在 PPT 和脑海里的想法,现在有机会被快速做成一支能看、能改、也愿意转发的视频。如果明天就要介绍你手头的项目,你最想先把哪一步交给 AI?

京东科技开发者 470

Codex 驱动的移动端AI全栈开发:从 Relay 原型图到可交付链路

AI 编程工具降低了跨端开发门槛,但“让 AI 写页面”并不等于“完成移动端交付”。PC 运营端页面通常以功能闭环为中心,设计约束较弱,研发可以基于组件库快速搭建;移动端 C 端页面直接面对用户,Relay 原型图和 UI 设计稿不仅是视觉参考,更是交互、信息层级、状态反馈和业务信任感的综合契约。

京东科技开发者 596

Claude Code vs Codex 记忆体系深度对比

Claude Code —— 分层自动记忆系统四层分层架构(CLAUDE.md / Auto Memory / Session Memory / AutoDream)构成自优化闭环,系统主动捕获、分类、去冗并跨会话接力经验。走的是自动化优先路线——让机器替人记忆、替人整理,以少量可控性的不确定换取强大的经验积累能力。Codex —— 声明式契约系统两层扁平架构(AGENTS.md 静态声明层 + 会话上下文层),记忆完全由人显式订立、显式修改,系统只读契约、绝不擅自变更。走的是可控性优先。

京东科技开发者 631

上游给空、下游拿到 -1,我把故障一直追到了 commons-beanutils 的构造函数

这篇手记是一份事后复盘,写在我们已经把修复推上线、把测试用例跑绿、把约束文档沉淀进团队库之后。非研发同事,可以直接从第八章开始看,前七章都是讲排障和代码分析。故障本身不复杂,修复也不复杂,但这次排查真正让我想写下来的,不是技术本身——而是从问题提报到解决全程AI的作用:问题定位:业务方反馈了一个异常单号说「下发失败」,一线运维同事直接在日志系统捞到相关的系统日志,用IDE打开下游代码库,把异常信息给到JoyCode——AI 直接指向了问题是serialType值非法,系统只接受0和1,而当前上游给的是-1。

京东科技开发者 720

SKill测评:谁才是真正的Skill之王?

巧合的是,阿里近期开源了一款名为 Skill-Up 的测评工具——它专门面向 Agent Skill 开发者,支持在 Claude Code、Codex、Qoder CLI 等真实 Agent Engine 环境中验证 Skill 的功能正确性,并可将失败用例转化为精准的修复指引,同时支持本地与 CI 环境的持续回归。2026年,Skill 的热度不减,已成为 AI 辅助编程领域的标配。在日常研发中,无论是沉淀个人经验,还是将团队的优秀范本标准化,将知识“蒸馏”为 Skill 已是大家的常规操作。

京东科技开发者 641

让AI真正参与工作!JoyDesk已上线京东云

JoyDesk提供覆盖AI资产管理、权限控制、安全策略、审批审计、运营监控等企业级治理能力,支持按组织、角色和项目进行精细化权限管理,并支持私有化部署,确保企业数据边界清晰、AI行为全程可追溯、安全策略灵活可配置,满足金融、政企等行业对数据安全和合规治理的要求,让AI真正成为企业可信赖的生产力。JoyDesk支持MCP协议、标准API、技能等多种开放接入方式,可快速连接企业现有业务系统,将业务能力封装为AI可调用的技能和专家,让AI能够理解业务流程、调用业务系统、完成业务任务,而无需改变企业原有IT架构。

京东科技开发者 675

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手【最终版】

这个项目展示了AI Agent 在垂直内容创作领域端到端自动化:从内容理解到播客输出,全流程 AI 驱动多模态融合:文字、图片、音频、视频统一处理专业级音频质量:音色设计 + 智能混音,输出广播级品质低门槛使用:可视化配置 + 自然语言交互,无需技术背景。

京东科技开发者 564

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(高级篇)

这是一个 AI 驱动的播客创作助手,专注于从文字/视频/音频内容识别到播客制作的全流程。你可以用自然语言与它对话,也可以上传视频和音频,它会理解意图、调用相应的语音合成工具,把他们变成真实的播客音频。

京东科技开发者 728

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(进阶篇)

这是一个AI 驱动的音频内容创作助手。你可以用自然语言与它对话,它会理解意图、调用相应的语音合成工具,把文字变成真实的播客音频,并保存在本地。关于项目的详细介绍见第一篇文章:第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)这篇文章更多介绍进阶篇添加的功能。

京东科技开发者 553

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)

这个项目让我第一次把前端、后端、AI Agent 三块内容独立串联起来。技术选型上每一块都是当下主流的方案,实际跑通整条链路之后对"全栈"有了更具体的感受。框架版本要锁定:LangChain 这类快速迭代的框架,版本差异带来的问题远比你想象的多先跑通链路,再追求完美:新手阶段能把用户输入 → AI 处理 → 结果展示这条链跑通,比深入某个技术点更有价值多看官方文档:相比博客和教程,官方文档更新及时,特别是 LangGraph 这种新框架后续计划继续迭代,欢迎交流!

京东科技开发者 611

ICLR 2026 | 面向序列决策的贝叶斯集成方法

在这篇工作中,我们关注的是。

京东科技开发者 296

ICML 2026|NaviAgent:面向 Oxygen 智能体的可扩展工具编排

大型语言模型(LLM)越来越多地作为函数调用代理,调用外部工具来处理超出其静态知识范围的任务。然而,它们通常一次只调用一个工具,缺乏对任务结构的全局视图。由于工具之间往往相互依赖,这会导致错误累积和可扩展性差,尤其是在扩展到数百或数千个工具时。为了解决这些局限性,我们提出了NaviAgent,一种显式的双层架构,它通过基于图的工具关系建模将任务规划与工具执行解耦。在规划层,基于 LLM 的代理决定是直接响应、澄清意图,还是检索并执行一个独立于工具间复杂性的工具链。

京东科技开发者 389

实测 9 款 AI 架构图工具:从 Mermaid 美化到 GPT-Image2,一份选型清单

支持 5 类图(架构图、工作流图、时序图、数据流图、生命周期/状态机图),主题 4 种(Classic、Signal Flow、Blueprint、Editorial)+ 3 种色彩模式(Dark / Light / System Auto),输出格式含 HTML、PNG、SVG、WebM、Share Card PNG、JSON IR。它把提示词图库、图像生成案例、参考图编辑流程和命令行工具整合在一起,让 AI Agent 能直接调用 GPT Image 2 模型完成文生图、图生图、参考图编辑等任务。

京东科技开发者 909

别再守着 Claude Code 了——学会指挥它自主干活

回到开头那句:别再一句一句地喂它、然后守着屏幕。真正的用法是——把一件事想清楚、划好边界、给它一个能自我验证的目标,然后交出去。你会发现,省下来的时间不是一点半点。把重复的判断和执行还给机器,把真正需要你的判断留给自己。

京东科技开发者 587

CVPR 2026|Oxygen XR 团队在原生鱼眼高斯泼溅技术上带来新突破

京东零售技术团队联合清华大学提出DirectFisheye-GS框架,创新性地将鱼眼相机模型原生嵌入3D高斯泼溅管线,通过跨视角联合优化策略直接处理鱼眼图像,避免了传统去畸变预处理导致的信息损失。该方案在多个公开数据集上达到SOTA性能,有效解决了单视角优化引起的几何畸变和视角不一致问题,同时保持与现有3DGS工具链的兼容性。技术已应用于电商3D重建和4D体积视频等场景,显著提升了沉浸式体验。相关论文被CVPR 2026接收,为宽视场场景重建提供了高效解决方案。

京东科技开发者 355

拆解海博 AI-Native 落地保障:Harness、双 Loop、知识库与技能自主迭代实践

海博研发RoadMap 的落地,彻底终结了 AI 编程“对话式玄学”的旧模式,真正落地了AI Native 研发工程化。它证明 AI 规模化赋能研发的核心,不在于堆砌大模型能力,而在于用工程思维重构 AI 的工作范式:用结构化流程替代随机对话,用固化规则约束模型行为,用持续沉淀实现能力复利,用分层架构支撑规模化落地。

京东科技开发者 638

让 AI 快速「读懂」你的代码仓:Joy-Code-Graph 云端图谱服务的三次进化

代码知识图谱不是要取代 AI 的智能,而是要补齐它对代码全局关系的认知盲区。当 AI 能一眼看清「谁调用了谁、改动会波及哪里」,它写出的代码才真正靠谱;当这份认知安全地留在自己手里、随时被 Joygen 调用、并且永久沉淀在代码仓里——AI 编程的体验,才算真正上了一个台阶。这,就是我们做 Joy-Code-Graph 云端服务的初衷。能力共享,数据自主;一次建图,长期受用。

京东科技开发者 752

【Coding生态】从代码托管到 AI 能力底座:与Coding一起共建 AI 研发生态

前两种框架能够很好地支撑对话式能力和预设流程式能力。它们适合基于提示词或预设工作流完成研发问答、知识查询、流程编排等任务。但在更复杂的研发场景中,仅仅“回答问题”还不够。当用户业务逻辑复杂时,一旦场景进入真实落地阶段,例如下载代码、修改文件、执行命令、安装依赖、运行测试、读取完整代码文件,或者与自有系统联动、将结果渲染到 Coding 页面、推送到京 ME,AI 应用需要的不只是知识能力,还需要真实的代码库操作能力和独立可执行环境。

京东科技开发者 768

GPT-5.6、ChatGPT Work 与 Codex 更新食用指南

三档模型当前都提供 1,050,000 tokens 上下文、922,000 tokens 最大输入和 128,000 tokens 最大输出,接受文本与图像输入、输出文本,并支持 web search、file search、Computer Use、MCP、Tool Search、Skills、Apply Patch 等工具。Work 可以读取你提供的文件,通过插件连接 Slack、Google Drive、SharePoint、邮箱、日历、CRM 或项目系统,调用获批工具,并在执行中展示进度。

京东科技开发者 873

把业务流程沉淀成高质量 Skill 的实践路径

使用Record & Replay创建的Skill,尽管创建流程简单,但它的本质实际是让 AI 去操作页面,这不但有可能影响我们对电脑的操作,还有可能无法稳定复现。创建Skill时,可以使用 Codex 的 Record & Replay 插件,把一次手工操作录下来,再让 AI 生成可复用流程。刚开始切换时,很容易遇到接口报错,可以让Codex排查原因进行优化,直到可以稳定执行;补充相应业务背景,说明这件事为什么要做,谁会用,输入从哪来,输出给谁看。电脑休眠、关机、软件没开时,本地任务可能无法执行。

京东科技开发者 836

政企前台AI-Agent的架构实践:打造可复用的 AI 服务平台-【灯塔计划】

不止是爆火的龙虾,还是各种Skills,MCP、Agent,脱离的具体的场景谈方案,最后只会是一场空。这一套可复用的 AI 服务平台,截止目前,通过前后端对接规范文档,多项能力已快速接入到各个场域的不同端平台,大幅降低研发成本, 并且各业务线新场景的接入从原来的 “开发驱动” 转为 “配置驱动”,接入周期从天维度缩短至小时级。

京东科技开发者 864
上一篇: 专业级沙箱与恶意样本的自动化分析
下一篇: 2020 中国开源年会(COSCon'20)再启程:开源向善(Open Source for Good)
京东云开发者
京东云开发者 企业官方账号 企业官方账号
博客等级 码龄8年 1万+粉丝 2141原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值