分库分表（ShardingSphere）相关知识详解

最新推荐文章于 2025-04-02 10:41:02 发布

原创最新推荐文章于 2025-04-02 10:41:02 发布 · 1.1k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #mysql

Java面试考点专栏收录该内容

32 篇文章

订阅专栏

一、引言

随着互联网业务的快速发展，数据量呈现出爆炸式增长。传统的单库单表架构逐渐无法满足高并发、大数据量的业务需求，会面临性能瓶颈和存储容量限制等问题。分库分表技术应运而生，它通过将数据分散存储在多个数据库和表中，有效提升了系统的性能和可扩展性。ShardingSphere 是一款开源的分布式数据库中间件，为分库分表提供了强大而便捷的解决方案。

二、分库分表概述

2.1 分库分表的概念

分库：将一个数据库中的数据分散存储到多个数据库中。这样可以减轻单个数据库的负载压力，提高数据库的并发处理能力，同时也能增加数据的存储容量。
分表：把一个表中的数据拆分到多个表中。当单表数据量过大时，查询和写入操作的性能会显著下降，分表可以有效缓解这个问题。

2.2 分库分表的方式

垂直分库：按照业务功能将数据库进行拆分，不同的业务模块使用不同的数据库。例如，将用户信息、订单信息分别存储在不同的数据库中。
垂直分表：将一个表按照字段进行拆分，把经常一起查询的字段放在一个表中，不常用的字段放在另一个表中。比如，用户表中把基本信息和扩展信息分开存储。
水平分库：将数据按照一定的规则（如哈希、范围等）分散到多个数据库中，每个数据库存储部分数据。
水平分表：将一个表的数据按照一定规则（如日期、ID 范围等）拆分成多个表，每个表存储部分数据。

三、ShardingSphere 简介

3.1 ShardingSphere 概述

ShardingSphere 是 Apache 软件基金会的顶级项目，它提供了分库分表、读写分离、分布式事务等功能。ShardingSphere 主要有三个产品：Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar，它们分别适用于不同的应用场景。

3.2 ShardingSphere 的产品形态

Sharding-JDBC：轻量级 Java 框架，以 jar 包形式提供服务，与应用程序集成在一起。它无需额外部署，对应用的侵入性小，适用于单体应用向分布式应用的过渡阶段。
Sharding-Proxy：独立的中间件，以 MySQL 或 PostgreSQL 协议对外提供服务。应用程序通过标准的数据库连接方式与 Sharding-Proxy 连接，它可以对多个数据库进行统一管理，适用于对现有应用改动较小的场景。
Sharding-Sidecar：基于 Kubernetes 的云原生数据库代理，以 Sidecar 形式与应用程序部署在同一 Pod 中。它可以为云原生应用提供灵活的数据库访问和管理能力。

四、ShardingSphere 实现分库分表

4.1 数据分片规则

ShardingSphere 通过定义分片规则来决定数据如何进行分库分表。常见的分片策略有：

哈希分片：根据数据的某个字段（如用户 ID）进行哈希计算，将数据分散到不同的数据库或表中。例如，使用用户 ID 对数据库数量取模，根据余数将用户数据存储到对应的数据库中。
范围分片：按照数据的范围进行分片，如根据订单日期将订单数据存储到不同的表中，每个表存储一定时间段内的订单。
复合分片：结合多种分片策略，以满足更复杂的业务需求。

4.2 配置示例（以 Sharding-JDBC 为例）

以下是一个简单的 Sharding-JDBC 分库分表配置示例：

// 引入 Sharding-JDBC 依赖
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-core</artifactId>
    <version>5.3.2</version>
</dependency>

// Java 代码配置
Map<String, DataSource> dataSourceMap = new HashMap<>();
// 配置数据源
HikariDataSource dataSource1 = new HikariDataSource();
dataSource1.setJdbcUrl("jdbc:mysql://localhost:3306/db1");
dataSource1.setUsername("root");
dataSource1.setPassword("password");
dataSourceMap.put("ds0", dataSource1);

HikariDataSource dataSource2 = new HikariDataSource();
dataSource2.setJdbcUrl("jdbc:mysql://localhost:3306/db2");
dataSource2.setUsername("root");
dataSource2.setPassword("password");
dataSourceMap.put("ds1", dataSource2);

// 配置分片规则
ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
TableRuleConfiguration tableRuleConfig = new TableRuleConfiguration("t_order", "ds${0..1}.t_order${0..1}");
// 配置分片策略
tableRuleConfig.setDatabaseShardingStrategy(new StandardShardingStrategyConfiguration("order_id", new ModuloDatabaseShardingAlgorithm()));
tableRuleConfig.setTableShardingStrategy(new StandardShardingStrategyConfiguration("order_id", new ModuloTableShardingAlgorithm()));
shardingRuleConfig.getTableRuleConfigs().add(tableRuleConfig);

// 创建 ShardingDataSource
DataSource dataSource = ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfig, new Properties());