国产最强开源分库分表,没有之一,不接受任何反驳!

SpringBoot 2 种方式快速实现分库分表 是一款开源的分布式关系型数据库中间件,为Apache的顶级项目。其前身是和的两个独立项目,后来在 2018 年合并成了一个项目,并正式更名为 ShardingSphere。其中 sharding-jdbc 为整个生态中最为经典和成熟的框架,最早接触分库分表的人应该都知道它,是学习分库分表的最佳入门工具。 阅读详情

“

京东白条使用 Apache ShardingSphere 解决了千亿数据存储和扩容的问题,为大促活动奠定了基础。

2014 年初,“京东白条”作为业内互联网信用支付产品,数据量爆发式的增长,每一次大促备战都是对技术人员的考验,每一次的战略转型驱动着数据架构的成长。

--张栋芳,京东白条研发负责人

京东白条数据架构演进史

自 2014 年 2 月京东白条业务上线起,为满足快速发展的业务和激增的海量数据,白条的数据架构经历了数次演进。

  • 2014~2015

Solr + HBase 的方案解决了核心、非核心业务系统对关键数据库的访问问题,Solr 作为被检索字段的索引,HBase 用作全量的数据存储。

  • 通过 Solr 集群分担部分读和写的业务,缓解核心库的压力;

  • Solr 扩展体验上欠佳,对业务也存在较大的入侵。

  • 2015~2016

引入 NoSQL 方案,业务数据以月份进行分表存储在 MongoDB 集群中,阶段性满足了结算处理场景中海量数据导入导出的需求。

  • 查询热点数据效率高,非结构化的存储方式易于修改表结构;

  • 依然面对着扩展差、对业务入侵强的局面,而且耗内存。

  • 2016~2017

随着业务快速发展,数据量突破百亿大关,此时 MongoDB 面临着容量和性能的双重考验。京东白条大数据平台通过 DBRep 以 MySQL Slave 的形式采集变动信息并存储到消息中心,最后落盘到 ES 和 HBase 中。

  • 该方案具有较强的数据实时性,扩展性良好;

  • 基于业务框架的数据分片难以降低代码维护成本。

白条数据架构的演进间接地反应了互联网消费金融的飞速发展,也说明了每一种解决方案在不同背景下都有不同的保质期。

迫在眉睫的架构解耦

为保证业务系统在数据激增情况下始终能保持高效运行,技术团队在设计初期使用了数据分片数据架构,发挥极致性能的同时也兼顾代码的可控性,采用基于应用框架的数据拆分方案完成了数据拆分工作。

但随着产品升级迭代,早期的解决方案演变成为了眼前的问题,通过业务框架实现的数据分片方案导致业务代码复杂度增加、维护成本不断攀升,紧耦合的弊端原形毕露,应用每次升级都需要投入较多的精力对分片做相应调整,研发人员难以专注于业务本身。

面对如上问题,技术团队经权衡后开始考虑使用成熟的分库分表组件来承担这部分工作,让业务系统升级和架构调整不再复杂。基于自研框架分片和基于 ShardingSphere 分片的对比如下:


基于自研框架分片基于 ShardingSphere 分片
性能高高
代码耦合度高低
业务入侵程度高低
升级难度高低
扩展性一般良好

下一阶段工作,解耦。

显然京东白条数据架构将迎来一个新的阶段,解耦的驱动力可以概括如下 3 方面:

  • 聚焦精力:将基于架构的数据库拆分,交给分表组件实现,研发精力需聚焦于业务本身;

  • 简化升级:解耦技术架构,简化业务系统升级工作的研发流程;

  • 规划未来:为系统提供良好的扩展能力,从容应对“618”和“11. 11”等活动。

京东白条业务体量巨大,是名副其实的金融级高并发、海量数据的业务场景,因此分库分表组件应具有以下特点:

1. 产品成熟稳定

2. 极致性能表现

3. 处理海量数据

4. 架构灵活扩展

Apache ShardingSphere 解决方案 

ShardingSphere-JDBC 是 Apache ShardingSphere 的第一款产品,它定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库,以 jar 包形式提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM 框架。

ShardingSphere-JDBC 的以下特点能够很好地满足白条业务场景:

  • 产品成熟:经数年打磨产品成熟度高,且社区活跃;

  • 性能良好:微内核、轻量化的设计,性能损耗极小;

  • 改造量小:支持原生的 MySQL 协议,研发工作量小;

  • 扩展灵活:搭配使用迁移同步组件轻松实现数据扩展。

d80cb7672363b02ab637295189f43efa.png

经内部大量系统性验证之后,Apache ShardingSphere 成为了京东白条数据分片中间件的首选方案,2018 年底正式开始对接。

产品适配

为能全面支撑白条业务、提供更好的业务体验,Apache ShardingSphere 在京东白条业务落地过程中对产品的功能和性能方面进行了更多的支持和提升,产品再一次经历典型案例的打磨。

  • 升级 SQL 引擎

白条的业务逻辑非常复杂且庞大,多样化场景的需求对 SQL 的兼容程度有着较高要求,Apache ShardingSphere 重构了 SQL 解析模块,并支持了更多的 SQL。

  • 路由至单数据节点 ,SQL 100% 兼容;

  • 路由至多数据节点,可全面支持 DML、DDL、DCL、TCL 和部分 DAL。支持分页、去重、排序、分组、聚合、关联查询。

  • 分布式主键

Apache ShardingSphere 提供了内置的分布式主键生成器,例如 UUID、SNOWFLAKE 等分布式主键生成器。同时 Apache ShardingSphere 提供了分布式主键生成器的接口,用户可自定义自增主键生成算法来满足特殊场景的需求。

  • 业务分片键值注入

对于没有分片条件的 SQL,Apache ShardingSphere 使用 ThreadLocal 管理分片键值,通过编程的方式向 HintManager 中添加分片条件,该分片条件仅在当前线程内生效,实现了 SQL 零侵入。

除了对功能上的增强,Apache ShardingSphere 为满足京东白条业务严苛的性能要求,同时做了多方面调优。

  • SQL 解析结果缓存

  • JDBC 元数据信息缓存

  • Bind 表 & 广播表的使用

  • 自动化执行引擎 & 流式归并

经两团队通力合作,京东白条业务与 Apache ShardingSphere 相结合的各项指标满足预期,性能与原生 JDBC 几乎一致。

7159147e167abe5e8eb7b31d5f0312ab.png

关于对接过程中的问题详情及方案,请通过《Apache ShardingSphere 对接京东白条实战》

业务割接

Apache ShardingSphere 使用定制化 HASH 策略对数据进行分片,有效避免了热点数据问题,拆分后的数据节点数达近万个,整个割接过程大约持续了 4 周左右的时间。

1. DBRep 读取数据,通过 Apache ShardingSphere 将数据同步至目标数据库集群;

2. 两套集群并行运行,数据迁移后再使用自研工具对业务和数据进行校验。

DBRep 是 ShardingSphere-Scaling 产品设计的基石,Scaling 具备的自动化能力为后续的迁移扩容工作提供了更多的便利。

Apache ShardingSphere 带来的收益

  • 简化升级路径

通过架构解耦,业务系统升级所涉及技术栈得到有效缩短,研发团队不再需要关注分表设计,精力全部聚焦于业务本身,升级路径得到大幅度优化;

  • 节省研发力量

引入成熟的 Apache ShardingSphere 无需重新开发分表组件,在简化业务升级路径的基础上节省了大量研发力量;

  • 架构灵活扩展

搭配使用 Scaling 同步迁移组件从容面对“618”和“11.11”等大型活动,系统灵活扩容。

写在最后

京东白条业务的快速增长驱动着数据架构不断升级,本次架构演进通过引入 Apache ShardingSphere 助力白条架构解耦,简化了系统升级路径,使研发团队只需关注业务本身,同时也实现了数据架构的灵活扩展,在消费金融场景开启了良好的开端。

互联网信用消费模式发展逐步多样化,未来 Apache ShardingSphere 将与京东展开更多业务场景的实践和探索,通过推动金融科技创新发展,进一步提升互联网金融的创新速度和效率。

cf7beeb074c53c40c29dbe72455c0e73.png

ShardingSphere 作为 Apache 基金会下的顶级开源项目,在 GitHub 上获得了超 14K Star 的关注,已成为行业内受欢迎的开源项目,全球有超过 170 家企业用户登记使用,覆盖金融、电子商务、云服务、旅游、物流、教育、文娱等多个领域。

ShardingSphere+达梦数据库分表操作 随着数字经济时代的全面到来,数据量呈现爆炸式增长,传统单机数据库在性能、扩展性和可用性方面面临严峻挑战。分布式数据库技术应运而生,成为解决海量数据存储与处理的关键方案。在这一背景下,Apache ShardingSphere作为一款开源的分布式数据库中间件生态圈,与国产数据库领军品牌达梦数据库(DM Database)的结合,为国内企业提供了自主可控的高性能数据管理解决方案。 阅读详情

相关推荐

国产数据库梳理

网上对这些数据库介绍有些误导,流传各种说法,比如:流传OB基于MySQL、GaussDB 200/300 和openGauss有啥区别,没办法谁让当前国产数据库太多…TidbPolarDBTDSQLGaussDBOceanBase公司PingCap阿里云腾讯华为阿里历史基于Google Spnner论文实现的原生分布式数据库。

lukabruce的博客 7730

ShardingSphere分库分表

简介ShardingSphere三大重要产品,ShardingJDBC、ShardingProxy、ShardingSidecar。ShardingSphere目前是由京东数科组件团队开发。未来打算做成一个服务及的产品。ShardingSphere源码中包含很多的SPI扩展点。诸如主键生成策略、分布式事务实现.........

qq_33791517的博客 493

STM32CubeMX 6.4.0 + STM32F407ZGT6 实战:基于YT8512C PHY的lwIP以太网配置与调试

本文详细介绍了使用STM32CubeMX 6.4.0为STM32F407ZGT6微控制器配置YT8512C PHY芯片,并成功移植lwIP以太网协议栈的实战过程。文章从硬件差异分析入手,逐步讲解时钟配置、ETH外设设置、PHY寄存器适配以及lwIP协议栈剪裁等关键步骤,旨在帮助开发者解决非标准PHY芯片的联网难题,最终实现网络连通与Ping测试。

n8m7b6v5c4的博客 596

【开源项目】Mysql分库分表路由组件 db-router-spring-boot-starter

【开源项目】Mysql分库分表路由组件 db-router-spring-boot-starter

秋装什么的博客 1429

adas硬件_ADAS智能辅助驾驶系统硬件在环(HIL)测试之硬件介绍

这篇主要分享的是ADAS融合系统的HIL测试系统的硬件结构及其作用,其主要包括上位机、机柜、雷达模拟器系统、雷达暗箱系统以及视频暗箱。 上位机 上位机主要运行HIL测试系统的相关软件,测试人员所有的前期准备工作与测试操作均在上面进行,并监控测试结果,其通过网口实现与NI实时机的通信,上位机将VeriStand项目工程下载至NI实时机运行。机柜 机柜主要由可编程电源...

weixin_39580748的博客 2244

在MATLAB产生正态(Gauss)分布随机数

在 MATLAB 中内置了有产生标准正态(Gauss)分布的随机数函数,使用方法如下: 其中 为产生矩阵的行数和列数, 为产生矩阵的个数,产生的矩阵中的每个元素均为服从 N(0,1)N(0, 1)N(0,1) 的标准正态分布的元素。使用如下命令产生一个 的服从的随机数矩阵: 绘制图像效果如下: 可以看到这里随机数服从 的标准正态分布。假设 X∼N(0,1)X\sim N(0,1)X∼N(0,1),则 3X+33X+33X+3 服从 N(3,9)N(3,9)N(3,9) 分布,因此我们要产生服从 N(

程序必须为人类阅读而编写,并且仅仅碰巧可以让机器执行 3万+

干掉分库分表,这款国产数据库杀死比赛!

???? 这是一个或许对你有用的社群???? 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料:《项目实战(视频)》:从书中学,往事上“练”《互联网高频面试题》:面朝简历学习,春暖花开《架构 x 系统设计》:摧枯拉朽,掌控面试高频场景题《精进 Java 学习指南》:系统学习,互联网主流技术栈《必读 Java 源码专栏》:知其然,知其所以然????这是一个或许...

芋艿V 200

超级超级细的CLIP官方模型解读及代码逐行讲解

本文详细解析了OpenAI开源的CLIP模型代码架构。文章首先介绍模型概念,包括训练时通过对称损失计算图像-文本相似度,预测时通过余弦相似度匹配最佳文本。随后重点解析各模块代码实现:LayerNorm改进、QuickGELU激活函数、Transformer编码器结构、ViT图像编码器的特征提取过程、文本编码器的掩码机制和特征投影。最后阐述CLIP整体架构如何整合视觉和文本编码器,并详细说明了特征归一化和相似度计算的关键实现。全文通过代码级解读帮助读者深入理解CLIP模型的实现细节。

m0_64595440的博客 2429

京东业务系统数据库分库分表架构设计

数据库分库分表架构设计、分布式事务、数据聚合检索

吖脖(博) 1515

OpenEuler内核编译及替换

一、内核源码下载 在gitee上下载OpenEuler内核源码 下载地址 选择需要的内核版本源码压缩包进行下载 二、内核编译 1.解压缩 将下载好的源码进行解压 tar xvf openeuler-kernel-4.19.90-2107.1.0.tar.gz 2.清理源代码树 解压后得到一个名为kernel的内核源码文件夹,进入后执行命令 make mrproper 清理过去内核编译产生的config,第一次编译时可不执行此命令 3.生成内核配置文件.config 先将将系统原配置文件拷贝过来,原

m0_56602092的博客 2万+

群晖NAS下docker安装MySql

本文将一步一步讲解如何在群晖NAS的docker中启用一个MySQL容器 , 算是初学者对问题解决的一个记录.

qq_46375248的博客 5980

分库分表中间件开源

ShardingSphere 是一个开源的分布式数据库中间件,提供了分库分表、读写分离、分布式事务等功能。这些中间件提供了丰富的功能和灵活的配置选项,可以帮助你实现分库分表的策略,满足不同业务场景的需求。MyCAT 是一个开源的分布式数据库中间件,基于 Java 编写,支持 MySQL 协议,可以作为 MySQL 的代理服务器使用。这是一个轻量级的 Go 版本的分表中间件,适用于需要高性能和轻量级解决方案的场景。TDDL 是阿里巴巴开源的分布式数据库中间件,支持分库分表和读写分离。

红豆和绿豆的博客 1097

视图库对接系列(GA-T 1400)一、简单介绍

GA/T 1400《公安视频图像信息应用系统》 是我们需要参考看看的相关文档,里面有对应的标准和介绍,没有这个文档的话可以加群找我要。群的话 我放在最下面了。我们先简单想几个问题, 也就是这个协议主要干什么用的,为什么要有, 能做什么。

qq_37716298的博客 4294

什么是分库分表?用Java手写一个分库分表组件

在分库分表的场景中,数据会根据一定的策略(如业务逻辑、哈希算法等)被分散到不同的数据库或表中,以提高系统的并发处理能力和扩展性。如图把users表拆分成users1表和users2表,以userId拆分,进行取模,偶数放到users1表,奇数放到users2表。如图,按会员库拆分,拆分成会员1库,会员2库,以userId拆分,userId尾号0-5为1库。6-9为2库,还有其他方式,进行取模,偶数放到1库,奇数放到2库。根据业务拆分,如图,电商系统,拆分成订单库,会员库,商品库。(1) 数据库垂直拆分。

weiambt的博客 1685

SAP_MM模块库存概览俄罗斯报表简介

本文介绍了SAP MM模块中"库存概览俄罗斯报表"的功能与应用。该报表主要用于查看物料在不同库存地点和类型的库存情况,并满足俄罗斯当地法规要求。文章解释了"俄罗斯报表"可能指代本地化合规库存报表或客户自定义报表,详细说明了事务代码J3RFLVMOBVEDH的操作步骤,包括公司代码、物料编码、日期范围等查询条件,并解释了报表中各字段含义如期初期末库存数量与价值。最后强调在物料分类账处理完成后使用该报表可获得实际库存价值,为SAP用户提供了实用的库存管理参考。

我小时候很黑的博客 1094

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

postgresql分库分表中间件开源实现方案

PostgreSQL 分库分表的中间件开源实现方案有很多, 你可以根据自己的需要选择适合自己的方案. 下面是几种常见的方案: pgpool-II: 一个 PostgreSQL 透明数据库代理, 具有负载平衡, 读写分离, 冗余, 能力. pg_shard: 一个 PostgreSQL 扩展, 用于分布式数据库系统. pg_partman: 一个 PostgreSQL 扩展, 用于帮助管理分区表....

weixin_35755640的博客 1013

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

SpringBoot 2 种方式快速实现分库分表,轻松拿捏!

本文将为您介绍 ShardingSphere 的一些基础特性和架构组成,以及在 Springboot 环境下通过 JAVA编码 和 Yml配置 两种方式快速实现分库分表。一、什么是 ShardingSphere? shardingsphere 是一款开源的分布式关系型数据库中间件,为 Apache 的顶级项目。其前身是 sharding-jdbc 和 sharding-proxy 的两个独立项目,...

Java知音 819

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

做一款自己的轻量级分库分表组件(一)

本文从动因出发,分析了分库分表的必要性,结合 Spring 的数据源动态切换机制与 MyBatis 插件机制,构建了一个轻量级的分库分表组件。

hanlepeng的博客 533

分库分表Springboot-Starter源码解析

首先有两个mapper对象,一个是普通的mapper,一个是分库分表的mapper,分别往数据库插入数据。可以看到分为了三个数据库,分别是test test_01 test_02,然后test库有一张user表,test_01 test_02各有user_000-003个四张表,然后我们运行测试用例:我们可以看到在test库的user表和test01的user_001表分别插入了一条记录,分库分表成功。使用起来非常简单,只需要在Mapper接口上加入两个注解:第一个注解。

zjp的博客 384

国产数据库,确实崛起了,排名变天了!

前几天和朋友一起吃饭,聊起了数据库的话题。他向我诉苦道:“我们公司有套‘古老’的系统,分库分表是自己代码实现的,做得不怎么样,现在系统要升级,我实在是不想维护了!”早些年,为了支撑海量数据的访问,基本上都是自己手工实现分库分表,自己去做查询的路由,结果的合并,分布式事务,它还成了后端面试必问的问题之一。我说:“考虑分布式数据库吧,在那里分库分表已经成为一种内置的技术了,自动扩展,程序员可以直接使用...

码农翻身 481

ShardingJdbc分库分表浅谈

分布式分库组件ShardingJdbc介绍浅谈

程序大视界 1832

分库分表中间件 Sharding-Sphere

文章目录什么是Sharding-JDBCsharding-jdbc 和 mycat官方问答整理总结Sharding-JDBC 和其他同类产品有什么区别?分库分表的中间件有两种思想Sharding-JDBC 与 Mycat 有一定的相似性,区别点在于对于 SQL 语句的自解析上,是否可以这么理解?在现有的系统架构的基础上,Sharding-JDBC 能否与第三方数据库连接池(如:C3P0,Druid...

西京刀客 4334

开源一个教学型分库分表示例项目 shardingsphere-jdbc-demo

在笔者心中,是高并发解决方案三剑客。分库分表之所以被广泛使用,因为工程相对简单,但分库分表并不仅仅是分片,还是需要考虑如何扩缩容(全量同步、增量同步、数据校验等)。因此笔者做了一个教学型分库分表示例项目 ,计划将分库分表的技术体系都实际演示一遍。:使用 shardingsphere-JDBC 4.X 实现分库分表功能:使用 shardingsphere-JDBC 5.X 实现分库分表功能: 基于 grpc 实现一个简单的服务端 ID 生成器下面我们展示如何运行。

sdgfafg_25的博客 1433

MySQL 分库分表

MySQL分库分表是解决大数据量存储和性能问题的有效方案。主要分为垂直分库分表(按业务或字段拆分)和水平分库分表(按数据行拆分)两种类型,支持哈希、范围等多种分片策略。常用工具包括MyCAT、ShardingSphere等中间件。分库分表能提升性能、扩展性和可用性,但会增加系统复杂度,需注意分片键选择、数据一致性、查询优化等问题。适用于单表数据量过大、数据库性能瓶颈等场景,实施时需谨慎考虑数据迁移、备份恢复等操作。

qq_45765521的博客 1432

【开源项目】使用ShardingJdbc进行分库分表

【开源项目】使用ShardingJdbc进行分库分表

秋装什么的博客 415

数据量多大?分库分表怎么做?用的哪个组件?

1. 概述 ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar(计划中)这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。 ShardingSphere定位为关系型数据库中间件,旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力。 1.1. ShardingSpher.

Pastxu的小屋 813
上一篇: 用了Stream后,代码反而越写越丑?
下一篇: 0.2秒居然复制了100G文件?
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值