分库分表(2) --- ShardingSphere(理论)

最新推荐文章于 2025-10-14 12:45:23 发布

原创

最新推荐文章于 2025-10-14 12:45:23 发布 · 634 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#队列 #分布式 #数据库 #链表 #java

本文介绍了ShardingSphere的概念，强调其在中小企业中的应用优势。ShardingSphere作为分布式数据库中间件，提供了分库分表、结果归并等功能。详细探讨了分库分表后的结果归并，包括遍历归并、排序归并、分组归并、聚合归并和分页归并等，解释了不同归并策略的工作原理。

ShardingSphere在中小企业需要分库分表的时候用的会比较多，因为它维护成本低，不需要额外增派人手;而且目前社区也还一直在开发和维护，还算是比较活跃。

但是中大型公司一般会选择选用 Mycat 这类 proxy 层方案，因为可能大公司系统和项目非常多，团队很大，人员充足，那么最好是专门弄个人来研究和维护 Mycat，

然后大量项目直接透明使用即可。

一、ShardingSphere概念

1、概念

ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar这3款相互独立的产品组成。

他们均提供标准化的数据分片、分布式事务 和 数据库治理功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。

如图

2、功能列表

数据分片

- 分库 & 分表
- 读写分离
- 分片策略定制化
- 无中心化分布式主键

分布式事务

- 标准化事务接口
- XA强一致事务
- 柔性事务

数据库治理

- 配置动态化
- 编排 & 治理

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Java代码狗

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

海量数据解决方案ShardingSphere分库分表详解

qq_30713721的博客

01-20

1857

一篇文章掌握海量数据解决方案ShardingSphere分库分表详解：ShardingSphere概述、数据分片（垂直分片、水平分片）、分片算法、分片策略、分布式主键、数据分片使用规范、读写分离、雪花算法等等。

Java微服务分布式分库分表ShardingSphere - ShardingSphere-JDBC(1)

2301_77033672的博客

04-28

1088

@param availableTargetNames 配置所有的列表* @param preciseShardingValue 分片值* @return*/@Override//后缀 0，1/*** 范围分库算法*//*** 精确分表算法*//*** @param availableTargetNames 配置所有的列表* @param preciseShardingValue 分片值* @return*/

2 条评论您还未登录，请先登录后发表或查看评论

揭秘ShardingSphere分库分表底层原理：5步实现千万级数据高效路由

最新发布

DeepNest的博客

10-14

891

掌握Java分库分表Sharding难题？本文详解ShardingSphere底层原理，通过5步实现千万级数据高效路由，支持高并发、低延迟场景。涵盖数据分片策略、分布式主键等关键技术，提升系统扩展性，值得收藏。

Java猿社区—ShardingSphere之跨库分页带来的性能问题与常用解决办法

阿祥小王子的博客

03-14

8756

Java猿社区—ShardingSphere之跨库分页带来的性能问题与常用解决办法文章目录Java猿社区—ShardingSphere之跨库分页带来的性能问题与常用解决办法如何避免使用limit带来的效率问题呢使用上次分页数据结尾ID作为下次查询条件（适合在线客服）二次查询法分页子查询（Mysql、Oracle）参考： ShardingSphere中文文档 分库分表的几种常见玩法及如何解决跨库...

sharding子查询_ShardingSphere 分页

weixin_42298415的博客

12-30

3932

分页性能性能瓶颈查询偏移量过大的分页会导致数据库获取数据性能低下，以MySQL为例：SELECT * FROM t_order ORDER BY id LIMIT 1000000, 10这句SQL会使得MySQL在无法利用索引的情况下跳过1000000条记录后，再获取10条记录，其性能可想而知。在分库分表的情况下(假设分为2个库)，为了保证数据的正确性，SQL会改写为：SELECT * FROM ...

ShardingSphere——数据分片的原理

庄小焱

07-03

1080

摘要 MyCat 是目前最流行的基于 java 语言编写的数据库中间件，是一个实现了 MySQL 协议的服务器，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用 MySQL 原生协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信，其核心功能是分库分表。配合数据库的主从模式还可实现读写分离。MyCat 是基于阿里开源的 Cobar 产品而研发，Cobar 的稳定性、可靠性、优秀的架构和性能以及众多成熟的使用案例使得 MyCa

ShardingSphere分库分表5-ShardingSphere的分布式事务详解

roykingw的专栏

04-06

2244

文章目录一、ShardingJDBC分布式事务快速上手LOCAL本地事务XA事务快速上手BASE柔性事务快速上手二、分布式事务原理详解XA事务Base柔性事务ShardingJDBC扩展分布式事务管理器三、ShardingProxy分布式事务示例一、ShardingJDBC分布式事务快速上手 ShardingJDBC支持的分布式事务方式有三种 LOCAL, XA , BASE，这三种事务实现方式都是采用的对代码无侵入的方式实现的。具体见 TransactionTypeHolder.set(Transact

ShardingSphere分库分表1-mysql生产环境高可用实战

roykingw的专栏

01-12

2160

文章目录一、实验目的与环境二、基础环境介绍三、搭建主从集群1、理论基础2、同步的原理3、搭建主从集群3.1 配置master主服务器3.2 配置slave从服务3.3 主从集群测试3.4 集群搭建扩展：3.5、GTID同步集群4、集群扩容5、半同步复制1、理解半同步复制2、搭建半同步复制集群6、主从架构的数据延迟问题：四、MySQL的高可用方案--了解1、MMM2、MHA3、MGR五、分库分表1、分库分表有什么用2、分库分表的方式3、分库分表的缺点4、什么时候需要分库分表？5、常见的分库分表组件一、实验目

基于SpringBoot-2-2-2-RELEASE和ShardingSphere-4-0-1的分库分表与读写分离完整实践案例-包含数据脱敏和多租户场景的MySQL数据库水平扩展解.zip

08-23

本实践案例文档详细介绍了如何使用SpringBoot-2-2-2-RELEASE和ShardingSphere-4-0-1来实现分库分表与读写分离。文档内容不仅涵盖了基础的分库分表原理，还深入到实际的应用场景中，例如数据脱敏和多租户模式。数据...

ShardingSphere原理分析和实战总结

数据与算法架构提升之路专栏

07-28

5282

代码模块架构原理官方文档：https://shardingsphere.apache.org/document/current/cn/quick-start/sharding-jdbc-quick-start/ 分片策略 Sharding-JDBC认为对于分片策略存有两种维度：数据源分片策略（DatabaseShardingStrategy）：数据被分配的目标数据...

ShardingSphere数据库分片解析

我是Java程序员廖志伟，感谢朋友们的支持！不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作，坚决杜绝粗制乱造。

06-23

856

📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。

shardingsphere分库分表跨库访问原理

weixin_39304656的博客

09-26

2112

分片规则：根据分片键和分片算法，将数据分片到不同的数据库和表。SQL 路由：根据分片规则，ShardingSphere 会将 SQL 路由到具体的库或表。SQL 改写：ShardingSphere 会对 SQL 进行改写，使其指向正确的分片。并行执行：对于跨库查询，ShardingSphere 会将 SQL 并行分发到多个数据库执行。结果归并：ShardingSphere 会将多个库的查询结果进行合并，返回给应用层。事务管理：ShardingSphere 支持多种事务机制，保证跨库操作的一致性。

ShardingSphere内部原理学习

法号钦尘的博客

04-10

605

内部原理 Shardi...

分库分表利器——sharding-sphere

weixin_34390996的博客

10-05

343

2019独角兽企业重金招聘Python工程师标准>>> ...

ShardingSphere官网操作指南补充和重点整理-数据分片-内核剖析（五）

astra_zhao的专栏

09-12

1272

执行引擎 ShardingSphere采用一套自动化的执行引擎，负责将路由和改写完成之后的真实SQL安全且高效发送到底层数据源执行。它不是简单地将SQL通过JDBC直接发送至数据源执行；也并非直接将执行请求放入线程池去并发执行。它更关注平衡数据源连接创建以及内存占用所产生的消耗，以及最大限度地合理利用并发等问题。执行引擎的目标是自动化的平衡资源控制与执行效率。连接模式从资源控制的角度...

Shardingsphere的分库分表+读写分离+分页条件查询

weixin_48319193的博客

06-25

5377

shardingsphere的读写分离和分库分表

ShardingSphere分页优化

zhiqiang_zhao

06-13

735

sharding分页优化方案

ShardingSphere 分片策略深度解析

fjkxyl的博客

06-02

893

最优分片min⁡α×查询延迟β×扩容成本γ×管理复杂度\text{最优分片} = \min\left(\alpha \times \text{查询延迟} + \beta \times \text{扩容成本} + \gamma \times \text{管理复杂度}\right)最优分片minα×查询延迟β×扩容成本γ×管理复杂度其中αβγ1αβγ1，根据业务特性调整权重。

shardingsphere 分库分表面试题

02-22

### ShardingSphere 分库分表常见面试题及其解答 #### 1. **什么是ShardingSphere？** ShardingSphere 是一套开源的分布式数据库解决方案，由 Apache 软件基金会孵化并维护。它提供了数据分片、读写分离、分布式...