我在京东做研发丨【混合多云第三课】云原生时代，分布式数据库StarDB如何炼成？...

转载 于 2023-03-22 18:00:54 发布 · 147 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzU1OTgxMTg2Nw==&mid=2247504795&idx=2&sn=a0f262bec56df03261be5e4a22dc4658&chksm=fc130fefcb6486f9d33cedf65fa5999e423f3479c2fda808619076bfd464031ad4c58568b4dd&scene=126&sessionid=0
文章标签：

#数据库 #云原生 #分布式

面对业务场景的复杂性和数据的爆炸式增长，京东云的全自研分布式数据库StarDB应运而生。产品负责人崔迎分享了如何在云原生时代解决高要求的数据存储和计算问题，以及StarDB在国产化数据库替换中的关键角色，包括对数据库中间件、分布式事务和智能化管控平台的深入实践。

222935b5fab90d8a4401e0c393676576.gif

新兴业务场景复杂多变，数据呈爆炸式增长

这也对数据的存储和计算提出了更高的要求

尤其面对国产化数据库替换的刚需

如何通过全自研数据库实现“真替真用”

成为诸多行业客户最为关注的问题

本期，京东云StarDB产品负责人将为你揭秘

云原生时代，分布式数据库StarDB如何炼成？

bdb355261ad6ca62c1bcd2d25c63dac6.jpeg

嘉宾介绍

崔迎

京东云StarDB产品负责人

崔迎，京东云数据库StarDB 产品负责人。凭借丰富的一线数据库运维管理、数据架构和开发经验，她带领团队打造了全自研的分布式数据库StarDB。崔迎长期专注于数据库产品化和国产数据库的探索研究，对数据库中间件、分布式事务数据库和智能化管控平台开发设计有着深入的实践和探索。

-end-

博客
京东自研电商数据库内核DongSQL简介
12-03 345
▶︎ 企业级计划稳定性：DongSQL提供了Statement Outline功能，用于固化重要SQL的执行计划，防止因数据变化导致的计划不稳定问题。▶︎ 自定义Hint注入工具：包括但不限于上述秒杀、CCL限流场景的Hint，即使业务研发预期外的过载或者突发流量发生，应急情况下DBA也可以通过Statement Outline功能对问题SQL进行干预-- 为重要SQL固化执行计划-- 为特定查询添加ccl_queue_digest限流hint，限制并发度为2▶︎ 核心价值•性能稳定性。
博客
宝剑锋从磨砺出——零售数据库内核，为大促铸剑！
12-03 601
癸卯七月风雨大作京东零售·袁博文僵卧双九不自哀，尚思为东戍轮台。夜阑卧听珊瑚雨，铁马内核入梦来。前言略长，只关心技术的同学可直接跳过看第二章这个问题在技术人心中其实没有标准答案，每个人都有每个人的见解。架构师眼里大抵是高屋建瓴，统领全局；技术大牛的视角可能是剖根溯源，精刀细琢；新人小白或许更单纯，无非就是学习进步，快速成长为大牛之类了。但在我——一个京东数据库人的眼里，技术的底色或许应该是五彩斑斓的吧。经常听人说，每个人呱呱坠地那一刻，都是一张白纸，父母在其上着墨。对于技术人来说又何尝不是呢？初学一门技术，
博客
用“分区”来面对超大数据集和超大吞吐量
12-03 478
自动再平衡比较方便，因为不需要人工维护，但是它的执行过程是不可预测的：再平衡时将大量数据集从一个节点转移到另一个节点的过程中可能会产生很大的网络开销，这会使得该服务器对请求响应的性能降低，对用户的体验和生产造成负面影响。来传播集群状态的变化，这样每个节点都维护有最新的数据路由方案，当其中一个节点收到请求时，会将其转发到合适的分区节点上（对应服务发现的方案一）。的方法：每个节点上有固定的分区数，当节点增加时，分区将变小，新增的节点会从原有节点的分区中随机进行拆分，最终这个新节点获得公平的负载份额。
博客
京东云JoyAgent持续开源！多模态RAG能力正式开源
12-01 641
传统RAG基础架构传统的检索增强生成（RAG）技术，在处理文本知识方面取得了显著的成功，它通过外部知识库有效缓解了大型语言模型的“幻觉”问题。但其局限性也日益凸显一、多模态问题：处理结构化与非结构化内容当面对企业内普遍存在的文档时，一个仅能理解文字的RAG系统，无法阅读和理解图片、表格中蕴含的丰富信息。这导致了检索的片面性与答案的不完整性，大量高价值的知识资产因此沉睡，无法被有效利用。一方面图像中的数据（如截图或扫描件）也无法被文本RAG系统直接理解。
博客
深入理解分布式共识算法 Raft
11-27 817
不可靠的网络”、“不稳定的时钟”和“节点的故障”都是在分布式系统中常见的问题，在文章开始前，我们先来看一下：如果在分布式系统中网络不可靠会发生什么样的问题。
博客
京东云海存储成为全球最大规模基于国产CPU的AI存储技术应用
11-27 390
在极致性能方面，云海AI存储可支持千亿级参数AI大模型，自研引擎采用全追加写模型，融合超低延时RDMA网络及软件架构优化，4K随机写IOPS达到1000万级，平均延迟在100微秒级，I/O性能接近本地NVMe磁盘，单节点可提供 44GiB/s的带宽性能。云海为京东云全自研存储，代码自研率超98%，拥有完全自主知识产权，与主流国产化硬件和软件兼容互认，括操作系统、数据库、中间件、服务器、CPU、主板、网卡、SSD等，并基于全局无锁架构，充分发挥国产硬件能力。，以更低硬件成本实现接近持久内存架构的性能表现。
博客
JoyAgent 荣获2025开放原子基金会 “《人工智能》开源先锋项目” 称号
11-26 784
2025开放原子开发者大会于11月21日至22日在北京北人亦创国际会展中心成功举办。本届大会以“一切为了开发者”为主题，汇聚了来自全球的开发者、学术专家、开源先锋及社区代表，围绕技术实践、生态建设等多个维度展开深度分享与交流。大会设有开幕式暨前沿主论坛，以及十余场平行技术分论坛，内容覆盖前沿技术与创新实践、开源项目与基础软件、开发者生态与社区治理、学术研究与开源融合等关键方向，为开发者构建了从战略洞察到实战落地的全链路交流平台。
博客
RAG 分块策略：从原理到实战优化，喂饭级教程不允许你踩坑
11-26 900
AI中的分块是指将大型文档分割成称为“chunk”的较小片段。这些片段可以是段落、句子、词组或受token限制的片段，这使得模型能更轻松地仅搜索和检索所需内容。这种分块技术对于优化检索增强生成（RAG）的性能至关重要。如何开始？可以从512 tokens 搭配 10-15%的重叠率开始。如何优化？调试参数，多使用递归分块和句子分块，语义分块还是不够优秀。如何测评？上号有和方法论？上号CRUD-RAG论文指出对于创意生成和保持文章连贯性的任务，切分较大的块表现会更佳。我们在RAGas。
博客
用“分区”来面对超大数据集和超大吞吐量
11-26 365
自动再平衡比较方便，因为不需要人工维护，但是它的执行过程是不可预测的：再平衡时将大量数据集从一个节点转移到另一个节点的过程中可能会产生很大的网络开销，这会使得该服务器对请求响应的性能降低，对用户的体验和生产造成负面影响。来传播集群状态的变化，这样每个节点都维护有最新的数据路由方案，当其中一个节点收到请求时，会将其转发到合适的分区节点上（对应服务发现的方案一）。的方法：每个节点上有固定的分区数，当节点增加时，分区将变小，新增的节点会从原有节点的分区中随机进行拆分，最终这个新节点获得公平的负载份额。
博客
JoyAgent 荣获2025开放原子基金会 “《人工智能》开源先锋项目” 称号
11-24 52
对于JoyDataAgent是一个通用的智能问数的框架和产品，对于用户的场景，只需将表按照DGP协议进行治理后，即可直接进行问数和诊断分析。作为开源项目展示的重要窗口，大会汇集了从初创到成熟运营的各类开源项目，完整呈现项目发展路径，并构建了包含企业、高校、社区等多方参与的“开发者生态圈”。：当前市场上的开源Agent主要是SDK或者框架，用户还需做进一步开发，而京东云JoyAgent整体开源了智能体产品能力，包括前端、后端、框架、引擎和核心子智能体，开发者可以快速部署，拥有专属的企业级多智能体产品。
博客
RAG 分块策略：从原理到实战优化，喂饭级教程不允许你踩坑
11-21 116
为什么同样是做 RAG，有的效果拔群，有的却差强人意？分块（Chunking）策略可能是那个被你忽略的关键环节。AI中的分块是指将大型文档分割成称为“chunk”的较小片段。这些片段可以是段落、句子、词组或受token限制的片段，这使得模型能更轻松地仅搜索和检索所需内容。这种分块技术对于优化检索增强生成（RAG）的性能至关重要。在RAG中，检索到正确的信息是关键，但当知识库非常庞大，可能包含数百万字或文档时，使用有效的RAG分块技术对于从这类大型数据集中高效检索相关信息，就变得至关重要了。举个例子，你有一个
博客
多智能体设计模式和智能体框架，你会了么？
11-19 677
硬编码方式，根据关键词、模式或结构化数据进行路由。此方法比 LLM 路由更快、更确定，但灵活性较低。•。
博客
Joycode 无法跨项目读取源码怎么办？MCP Easy Code Reader 帮你解决！
11-19 917
本篇文章主要介绍 MCP Server，它可以帮助你在使用 Joycode 编写代码时，根据调用链路将多个项目或 Jar 包中相关的代码读取到上下文中，供 Code Agent 帮我们分析逻辑和编写代码，而无需再手动将源码复制到对话框中发送给 AI，提高 Code Agent 准确度和编码效率。MCP 已发布和 Joycode MCP 市场，欢迎大家使用。
博客
宝剑锋从磨砺出——零售数据库内核，为大促铸剑！
11-19 878
癸卯七月风雨大作京东零售·袁博文僵卧双九不自哀，尚思为东戍轮台。夜阑卧听珊瑚雨，铁马内核入梦来。前言略长，只关心技术的同学可直接跳过看第二章这个问题在技术人心中其实没有标准答案，每个人都有每个人的见解。架构师眼里大抵是高屋建瓴，统领全局；技术大牛的视角可能是剖根溯源，精刀细琢；新人小白或许更单纯，无非就是学习进步，快速成长为大牛之类了。但在我——一个京东数据库人的眼里，技术的底色或许应该是五彩斑斓的吧。经常听人说，每个人呱呱坠地那一刻，都是一张白纸，父母在其上着墨。对于技术人来说又何尝不是呢？初学一门技术，
博客
京东云张晨 受邀参加KCD 杭州站 x OpenInfra Days China，分享AI时代的大型集群数据处理之道
11-17 750
我将分享一套经实际部署的方案经验，如何在严苛的真实场景中基于虚拟机的隔离提升安全性与效率，并剖析其实际应用价值与注意事项。他的分享将为业界同行应对相似挑战提供宝贵的思路与实战经验。这一变革对底层设施提出了前所未有的新要求：更极致的弹性伸缩、更高效的算力利用、更复杂的跨域调度和更全面的安全防护。这是一个绝佳的机会，在活动上可以直接聆听杰出的开源基础设施领导者的演讲，学习用户案例，建立人脉，并融入当地社区。它充分展现了开源社区的开放精神和跨社区协作的强大力量，我们将共同推动 AI 与云计算技术 的进步与发展。
博客
【原理到实战】实验异质性分析
11-12 794
实验的异质性，一般被称为HTE（即Heterogeneous Treatment Effects），意为实验中同一个treatment对不同的实验样本，得到的策略效果可能是不一样的。另外还有一些重要的概念需要大家理解英文简称英文全称中文译名含义公式ATE平均处理效应所有实验对象的平均实验效果CATE条件平均处理效应满足一定条件的实验对象的平均实验效果ITE个体处理效应某个实验对象的实验效果。
博客
最新MCP规范解读，看这篇就够了！
11-12 664
Prompt就像是「对话模板」或「快捷指令」，把常用的复杂指令预设好，用户一键调用。用生活中的例子类比，就像微信的「快捷回复」或IDE中的「代码片段(Snippet)」。
博客
多智能体设计模式和智能体框架，你会了么？
11-12 659
硬编码方式，根据关键词、模式或结构化数据进行路由。此方法比 LLM 路由更快、更确定，但灵活性较低。•。
博客
Cursor 一年深度开发实践：前端开发的效率革命
11-10 1186
这个过程强制我理解每一行变更，重新建立起对代码的掌控感。如上图，通常 cursor 在修改完成后都会自动生成总结（也可以通过添加 rules 控制），可以结合总结阅读 diff。
博客
并发丢数据深度剖析：MySQL锁机制与事务实战踩坑及解决方案
11-10 646
id` bigint(50) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增ID',`metric_def_id` bigint(11) unsigned NOT NULL DEFAULT '0' COMMENT '指标定义id',`logic_table_id` bigint(11) unsigned NOT NULL DEFAULT '0' COMMENT '逻辑表id',
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值