分库分表ShardingSphere-jdbc 5.5.2 + spring boot 配置

已于 2025-05-03 23:13:38 修改
阅读量1.7k 收藏 21
点赞数 16
分类专栏： 分库分表 文章标签： java spring boot database
于 2024-11-15 15:55:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_21903999/article/details/143800267
版权

Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。

Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。 它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。 它站在数据库的上层视角，关注它们之间的协作多于数据库自身。

ShardingSphere-JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。

环境准备

版本

软件 版本
spring boot 3.4.5
shardingsphere-jdbc 5.5.2
druid 1.2.24
postgreSQL 17
JDK 21

功能

已实现配置功能：

  1. 单机模式服务；
  2. 数据源（druid加解密数据库密码）；
  3. 规则配置：
    数据分片：多个分库分表键策略
    读写分离
    数据加密：SM4自定义算法
    单表
    算法：自定义雪花算法动态worker.id
    其他

待新增补充功能：
混合规则等。

数据库说明

本示例数据库为PostgreSQL，以一主二从作为集群架构演示，转为数据库架构时，可自定义修改配置。

集群

一主二从：
逻辑主库：ds_basic、ds0000、ds0001（ds_basic为数据简单、量少的元数据库）
逻辑从库：ds0000_slave1、ds0001_slave1、ds0000_slave2、ds0001_slave2
在这里插入图片描述

Maven依赖

         <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>shardingsphere-jdbc</artifactId>
            <version>5.5.2</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.shardingsphere</groupId>
                    <artifactId>shardingsphere-test-util</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.yaml</groupId>
            <artifactId>snakeyaml</artifactId>
            <version>2.2</version>
        </dependency>

配置

配置文件

在这里插入图片描述

spring boot配置

application.yml

spring:
  application:
    name: demo
  datasource:
    driver-class-name: org.apache.shardingsphere.driver.ShardingSphereDriver
    url: jdbc:shardingsphere:classpath:sharding.yaml

shardingsphere-jdbc配置

完整的基础配置

sharding.yaml


mode:
  type: Standalone
  repository:
    type: JDBC
databaseName: aya_db
dataSources:
  ds_aya_basic:
    dataSourceClassName: com.alibaba.druid.pool.DruidDataSource
    driverClassName: org.postgresql.Driver
    url: jdbc:postgresql://127.0.0.1:5433/aya_basic
    username: postgres
    password: iDtU7OG+pSIRUKZR4oHIqg4ApomOt8NhPafBHJ9i9WZMKnsoLR3oj19M8CvRnNVzZGqy4S8iVFQQ/xDyaBeK6w==
    initialSize: 1
    minIdle: 1
    maxActive: 64
    maxWait: 20000
    validationQuery: SELECT 1
    validationQueryTimeout: 30000
    minEvictableIdleTimeMillis: 300000
    maxEvictableIdleTimeMillis: 600000
    timeBetweenEvictionRunsMillis: 300000
    testOnBorrow: true
    testWhileIdle: true
    filters: config, stat, wall
    connectProperties:
      connectTimeout: 5000
      socketTimeout: '20000'
      config.decrypt: 'true'
      config.decrypt.key: MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAJ05kvOTSV2shvQ/nK632kXMe10o1fNcu+cA6TAYEh2bxhjnJ4DAoqooSpPhgjCGtzjpGhglrcMryq/olbDOOXMCAwEAAQ==

  ds_aya_0000:
    dataSourceClassName: com.alibaba.druid.pool.DruidDataSource
    driverClassName: org.postgresql.Driver
    url: jdbc:postgresql://127.0.0.1:5433/aya_0000
    username: postgres
    password: iDtU7OG+pSIRUKZR4oHIqg4ApomOt8NhPafBHJ9i9WZMKnsoLR3oj19M8CvRnNVzZGqy4S8iVFQQ/xDyaBeK6w==
    initialSize: 1
    minIdle: 1
    maxActive: 64
    maxWait: 20000
    validationQuery: SELECT 1
    validationQueryTimeout: 30000
    minEvictableIdleTimeMillis: 300000
    maxEvictableIdleTimeMillis: 600000
    timeBetweenEvictionRunsMillis: 300000
    testOnBorrow: true
    testWhileIdle: true
    filters: config, stat, wall
    connectProperties:
      connectTimeout: 5000
      socketTimeout: '20000'
      config.decrypt: 'true'
      config.decrypt.key: MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAJ05kvOTSV2shvQ/nK632kXMe10o1fNcu+cA6TAYEh2bxhjnJ4DAoqooSpPhgjCGtzjpGhglrcMryq/olbDOOXMCAwEAAQ==

  ds_aya_0001:
    dataSourceClassName: com.alibaba.druid.pool.DruidDataSource
    driverClassName: org.postgresql.Driver
    url: jdbc:postgresql://127.0.0.1:5433/aya_0001
    username: postgres
    password: iDtU7OG+pSIRUKZR4oHIqg4ApomOt8NhPafBHJ9i9WZMKnsoLR3oj19M8CvRnNVzZGqy4S8iVFQQ/xDyaBeK6w==
    initialSize: 1
    minIdle: 1
    maxActive: 64
    maxWait: 20000
    validationQuery: SELECT 1
    validationQueryTimeout: 30000
    minEvictableIdleTimeMillis: 300000
    maxEvictableIdleTimeMillis: 600000
    timeBetweenEvictionRunsMillis: 300000
    testOnBorrow: true
    testWhileIdle: true
    filters: config, stat, wall
    connectProperties:
      connectTimeout: 5000
      socketTimeout: '20000'
      config.decrypt: 'true'
      config.decrypt.key: MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAJ05kvOTSV2shvQ/nK632kXMe10o1fNcu+cA6TAYEh2bxhjnJ4DAoqooSpPhgjCGtzjpGhglrcMryq/olbDOOXMCAwEAAQ==

  ds_aya_0000_slave1:
    dataSourceClassName: com.alibaba.druid.pool.DruidDataSource
    driverClassName: org.postgresql.Driver
    url: jdbc:postgresql://127.0.0.1:5433/aya_0000_slave1
    username: postgres
    password: iDtU7OG+pSIRUKZR4oHIqg4ApomOt8NhPafBHJ9i9WZMKnsoLR3oj19M8CvRnNVzZGqy4S8iVFQQ/xDyaBeK6w==
    initialSize: 1
    minIdle: 1
    maxActive: 64
    maxWait: 20000
    validationQuery: SELECT 1
    validationQueryTimeout: 30000
    minEvictableIdleTimeMillis: 300000
    maxEvictableIdleTimeMillis: 600000
    timeBetweenEvictionRunsMillis: 300000
    testOnBorrow: true
    testWhileIdle: true
    filters: config, stat, wall
    connectProperties:
      connectTimeout: 5000
      socketTimeout: '20000'
      config.decrypt: 'true'
      config.decrypt.key: MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAJ05kvOTSV2shvQ/nK632kXMe10o1fNcu+cA6TAYEh2bxhjnJ4DAoqooSpPhgjCGtzjpGhglrcMryq/olbDOOXMCAwEAAQ==

  ds_aya_0001_slave1:
    dataSourceClassName: com.alibaba.druid.pool.DruidDataSource
    driverClassName: org.postgresql.Driver
    url: jdbc:postgresql://127.0.0.1:5433/aya_0001_slave1
    username: postgres
    password: iDtU7OG+pSIRUKZR4oHIqg4ApomOt8NhPafBHJ9i9WZMKnsoLR3oj19M8CvRnNVzZGqy4S8iVFQQ/xDyaBeK6w==
    initialSize: 1
    minIdle: 1
    maxActive: 64
    maxWait: 20000
    validationQuery: SELECT 1
    validationQueryTimeout: 30000
    minEvictableIdleTimeMillis: 300000
    maxEvictableIdleTimeMillis: 600000
    timeBetweenEvictionRunsMillis: 300000
    testOnBorrow: true
    testWhileIdle: true
    filters: config, stat, wall
    connectProperties:
      connectTimeout: 5000
      socketTimeout: '20000'
      config.decrypt: 'true'
      config.decrypt.key: MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAJ05kvOTSV2shvQ/nK632kXMe10o1fNcu+cA6TAYEh2bxhjnJ4DAoqooSpPhgjCGtzjpGhglrcMryq/olbDOOXMCAwEAAQ==

  ds_aya_0000_slave2:
    dataSourceClassName: com.alibaba.druid.pool.DruidDataSource
    driverClassName: org.postgresql.Driver
    url: jdbc:postgresql://127.0.0.1:5433/aya_0000_slave2
    username: postgres
    password: iDtU7OG+pSIRUKZR4oHIqg4ApomOt8NhPafBHJ9i9WZMKnsoLR3oj19M8CvRnNVzZGqy4S8iVFQQ/xDyaBeK6w==
    initialSize: 1
    minIdle: 1
    maxActive: 64
    maxWait: 20000
    validationQuery: SELECT 1
    validationQueryTimeout: 30000
    minEvictableIdleTimeMillis: 300000
    maxEvictableIdleTimeMillis: 600000
    timeBetweenEvictionRunsMillis: 300000
    testOnBorrow: true
    testWhileIdle: true
    filters: config, stat, wall
    connectProperties:
      connectTimeout: 5000
      socketTimeout: '20000'
      config.decrypt: 'true'
      config.decrypt.key: MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAJ05kvOTSV2shvQ/nK632kXMe10o1fNcu+cA6TAYEh2bxhjnJ4DAoqooSpPhgjCGtzjpGhglrcMryq/olbDOOXMCAwEAAQ==

  ds_aya_0001_slave2:
    dataSourceClassName: com.alibaba.druid.pool.DruidDataSource
    driverClassName: org.postgresql.Driver
    url: jdbc:postgresql://127.0.0.1:5433/aya_0001_slave2
    username: postgres
    password: iDtU7OG+pSIRUKZR4oHIqg4ApomOt8NhPafBHJ9i9WZMKnsoLR3oj19M8CvRnNVzZGqy4S8iVFQQ/xDyaBeK6w==
    initialSize: 1
    minIdle: 1
    maxActive: 64
    maxWait: 20000
    validationQuery: SELECT 1
    validationQueryTimeout: 30000
    minEvictableIdleTimeMillis: 300000
    maxEvictable
最低0.47元/天 解锁文章
shardingsphere5.5.1基于spring体系的集成01
笨鸟不会飞
11-07 213
ShardingSphere 已经逐步升级到 5.5.1 版本，随着版本的迭代，其配置也在不断变化。因此，我将基于 5.5.1 版本，为大家重新整理其集成方式，以便更清晰地理解和应用。
shardingsphere5.5.1基于spring体系的集成-复合分片02
笨鸟不会飞
11-08 207
shardingsphere已经实现的等分片算法都可以基于复合分片算法来实现，在本章中我们将会编写如何基于shardingsphere5.5.1版本实现我们的通用内置分片算法和复合分片算法。
spheresharding-jdbc5.5.2 springboot3 集成读写分离库
wadexi的博客
02-13 732
5次读取随机落在两个读库317c_slave_of_317a 和 327b_slave_of_317a 上。yaml 配置的方式主要是配置，多看下一手官方文档和别人的示例。写入是在主库317a_master 上。注意版本问题，每个版本的配置都不太一样。关于如何搭建参考之前的文章。也可以只配置一个从库。
shardingsphere 5.5.1按月分表配置记录，支持dynamic-datasource多数据源
未兆的博客
11-11 1462
先说明下springboot的支持只到5.2.1，但是因为旧版本有漏洞问题，加上官方新版本不在支持springboot写法，所以改成了shardingsphere-jdbc。新版本的shardingsphere配置查了很多材料，最后终于配置完成，做个记录。springboot版本2.7.18。yml的配置里面加上。
Springboot集成Shardingsphere分表分库-两步快速集成-极简方便亲测可用
weixin_44556848的博客
04-07 1641
定义实际的数据节点范围。datetime-pattern: yyyy-MM-dd HH:mm:ss # 定义时间格式，表示日期和时间的格式为年-月-日 时:分:秒。datetime-lower: 2025-01-01 00:00:00 # 设置分片的开始时间，即时间范围的下限。datetime-upper: 2035-12-31 23:59:59 # 设置分片的结束时间，即时间范围的上限。# 指定分片算法的名称，这里使用之前定义的 `tba-monthly`，表示按月进行分片。
Sharding-JDBC 5.4.1+SpringBoot3.4.1+MySQL8.4.1 使用案例
whereabouts_的博客
01-23 1336
SpringBoot 3.4.1 + Sharding-jdbc 5.4.1 + MySQL 8.4.1 工程项目分表案例
shardingsphere-jdbc5.5.2 springboot3.4.2 集群模式
wadexi的博客
02-15 927
所谓集群模式，就是把配置发到一个公共的地方 如 zookeeper/etcd 等这样多个微服务就不需要都维护一份了，且修改zookeeper /etcd 可以实时生效例如，主库挂掉，手动切换备库的时候，就改下 zookeeper /etcd 就OK了，不用每个微服务都去改一遍再重启。
ShardingSphere-jdbc 5.5.0 + spring boot 基础配置 - 实战篇
qq_21903999的博客
08-20 3582
shardingsphere 5.5.0移除了sm4算法，自己加上即可。增加spi扩展org.apache.shardingsphere.encrypt.spi.EncryptAlgorithm增加以下代码：SM4算法代码/***/static {@Getter@Overrideif (!
openGauss+shardingsphere-5.5.1简单实例
Florence0405的博客
11-22 1250
本文记录了苯人在使用chatgpt进行了分布式数据库实验的一些过程，照着下面的代码能把服务跑起来，但不带基础知识（比如yaml配置文件里每一行、每个设置是什么意思（因为我也不会XD））。本文中记录的并不是唯一实现的方法，也可能有隐藏的bug在，但是我暂时还没遇到，仅供参考。p.s. openEuler虚拟机是之前杨老师发的！————————————all copyright reserved to 飞行员—————————————
Sharding-Jdbc
art_code的博客
01-29 456
Sharding-Jdbc 基于Sharding-Jdbc实现读写分离 基于Sharding-Jdbc实现分表分库 Sharding-Jdbc源码分析 数据库集群自动增长id，Sharding-Jdbc 雪花算法 Sharding-Jdbc介绍 Sharding-Jdbc在3.0后改名为Shardingsphere它由Sharding-JDBC、Sharding-Proxy和Shar...
Apache ShardingSphere Proxy5.5.0实现MySQL分库分表与读写分离
流水悠然，任山川引路。
07-25 2150
感谢你的关注，欢迎你评论交流。
Sharding-JDBC（三）3.1.0版本实践
dlx29376的博客
05-04 581
目录 　　一、Sharding-JDBC依赖 　　二、代码实践 　　三、源码分析 在上一篇博文中，介绍了Sharding-JDBC的分片策略、分片键和分片算法的基本概念，以及2.0.3版本可以支持和无法支持的使用场景。 可以支持的场景：支持对SQL语句中的=、IN和BETWEEN AND的分片操作，但前提是分片键必须存在于SQL和数据表结构中。 无法支持的场景：分片键不...
Sharding-JDBC（九）5.3.0版本，实现按月分表、自动建表、自动刷新节点
ACGkaka的博客
08-30 8607
Sharding-JDBC（九）5.3.0版本，实现按月分表、自动建表、自动刷新节点
Spring Boot整合ShardingSphere5.5.1实现读写分离，主从复制
m0_65374199的博客
12-10 607
ps:我用的ShardingSphere版本是5.5.1，各版本配置差别好像有点大，5.2.1版本之前有Spring Boot启动依赖，详情见​ Spring Boot版本是3.3.5。
Shardingsphere新版本（5.5.1）实践
最新发布
thekenofDIS的专栏
05-19 598
这里还用到了多数据源，db0是读写分离的数据源，db1是另一个数据源，不做读写分离，注意这里，上面注释掉的是读取环境变量的写法，需要url参数里指定placeholder-type=environment，而下面是我们通过SPI扩展的方式，所以读取的方式从classpath变成了kms，这个kms是我们自己定义的，也可以改成其他的。其他三方工具版本升级，一般就是增加些配置，新添些功能，而Shardingsphere的升级，配置文件的配置方法改动很大，导致很多在网上查的资料，对于新版本已经完全不适用了。
ShardingShpere5分库分表
qq_40003391的博客
04-06 993
官网： https://shardingsphere.apache.org/index_zh.html文档： https://shardingsphere.apache.org/document/5.1.1/cn/overview/ ApacheShardingSphere 由JDBCProxy和Sidecar（规划中）这 3 款既能够独立部署，又支持混合 部署配合使用的产品组成。
Sharding-JDBC4.1整合mybatis实现分库分表、绑定表、广播表、读写分离、自定义主键策略、inline、hint分布式事务等操作
小哇
04-25 2634
链接：https://pan.baidu.com/s/1LeUHSbUs_hrfjzf8s3Gcdg。
Sharding-JDBC 5.0.0快速集成Springboot2.3.2【读写分离】
tianqi11的博客
04-23 342
【代码】Sharding-JDBC 5.0.0快速集成Springboot2.3.2【读写分离】
ShardingSphere-jdbc 5.5.2 + spring boot
02-28
### 集成和配置 ShardingSphere-JDBC 5.5.2 与 Spring Boot #### Maven 依赖配置 为了在 Spring Boot 中集成 ShardingSphere-JDBC，首先需要引入相应的 Maven 依赖。这可以通过修改 `pom.xml` 文件来完成。 ```xml <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId> <version>5.5.2</version> </dependency> ``` 此依赖项会自动加载并初始化 ShardingSphere 所需的核心组件[^1]。 #### 数据源配置 接着，在 `application.yml` 或者 `application.properties` 文件中定义数据源的相关属性： ```yaml spring: shardingsphere: datasource: names: ds_0,ds_1 ds_0: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3306/db_0?serverTimezone=UTC&useSSL=false username: root password: root ds_1: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3306/db_1?serverTimezone=UTC&useSSL=false username: root password: root ``` 上述配置指定了两个不同的 MySQL 数据库实例作为分布式系统的组成部分。 #### 分片规则设置 通过 YAML 文件继续扩展配置以支持分片逻辑： ```yaml rules: sharding: tables: t_order: actual-data-nodes: ds_${0..1}.t_order${0..1} table-strategy: standard: sharding-column: order_id precise-algorithm-class-name: com.example.demo.algorithm.ModuloShardingTableAlgorithm key-generate-strategy: column: order_id key-generator-class-name: org.apache.shardingsphere.core.keygen.DefaultKeyGenerator ``` 这段代码片段展示了如何指定实际的数据节点以及用于路由到特定表的策略类。 #### 加密功能实现 对于敏感字段加密的需求，可以采用如下方式声明加密器及其应用范围： ```yaml props: sql-show: true encryptor: name: sm4Encryptor type: SM4 props: cipher-key: your_cipher_key_here tables: t_user: columns: pwd: logic-column: pwd cipher-column: pwd_cipher encryptor-ref: sm4Encryptor ``` 这里设置了密码列 (`pwd`) 使用国密标准中的 SM4 对称加密算法进行保护。 #### 测试验证 最后一步是编写单元测试案例来检验整个架构的有效性和正确性。确保所有业务流程都能正常运作，并且查询结果符合预期。 ```java @SpringBootTest public class OrderServiceTest { @Test void testQueryOrders() { List<OrderDTO> orders = orderService.queryAll(); assertNotNull(orders); } // More tests... } ``` 以上就是关于如何在 Spring Boot 应用程序内集成交互式部署 Apache ShardingSphere JDBC 组件的方法概述。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值