ShardingSphere读写分离相关

最新推荐文章于 2025-03-29 10:30:00 发布
原创 最新推荐文章于 2025-03-29 10:30:00 发布 · 458 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

本系列Spring Boot 版本 3.1.0

本系列ShardingSphere 版本 5.4.0

Spring Boot基础依赖：

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>

Mybatis Plus：

		<dependency>
			<groupId>com.baomidou</groupId>
			<artifactId>mybatis-plus-spring-boot3-starter</artifactId>
			<version>3.5.5</version>
		</dependency>
		<dependency>
			<groupId>com.mysql</groupId>
			<artifactId>mysql-connector-j</artifactId>
			<scope>runtime</scope>
		</dependency>

ShardingSphere在5.3.0及之后的版本，考虑到维护兼容成本，更加专心于自身功能迭代，移除了Spring Boot Starter，所以只能引入 ShardingSphere-JDBC核心包：

		<dependency>
			<groupId>org.apache.shardingsphere</groupId>
			<artifactId>shardingsphere-jdbc-core</artifactId>
			<version>5.4.0</version>
		</dependency>
		<!--java.lang.ClassNotFoundException: com.sun.xml.internal.bind.v2.ContextFactory-->
		<dependency>
			<groupId>org.glassfish.jaxb</groupId>
			<artifactId>jaxb-runtime</artifactId>
			<version>2.3.8</version>
		</dependency>

ShardingSphere-JDBC在5.3.0及之后的版本不再提供Spring Boot Starter，所以配置方面有较大的变化，目前只支持Java API和YAML 进行配置。

ShardingSphere 提供了 JDBC 驱动，首先需要在application.yml中配置ShardingSphereDriver ，并指定YAML配置文件地址：

server:
  port: 8080
spring:
  datasource:
    # 配置 DataSource Driver
    driver-class-name: org.apache.shardingsphere.driver.ShardingSphereDriver
    # 指定 YAML 配置文件
    url: jdbc:shardingsphere:classpath:readwrite-splitting-config.yml # 读写分离配置文件

application.yml同级目录下创建readwrite-splitting-config.yml续写分离配置文件，在该文件中，首先添加数据源配置：

# 数据源配置
dataSources:
  # 主库
  write_ds: # 逻辑名称
    dataSourceClassName: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://192.168.56.101:3306/test
    username: root
    password: "root"
  # 从库1
  read_ds_0:
    dataSourceClassName: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://192.168.56.101:3307/test
    username: root
    password: "root"
  # 从库2
  read_ds_1:
    dataSourceClassName: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://192.168.56.101:3308/test
    username: root
    password: "root"

然后添加读写分离规则、从库负载均衡相关配置：

# 规则配置
rules:
  # 读写分离配置
  - !READWRITE_SPLITTING
    dataSources: # 数据源
      readwrite_ds: # 读写分离逻辑数据源名称
        writeDataSourceName: write_ds # 写库数据源名称
        readDataSourceNames: # 读库数据源名称，多个从数据源用逗号分隔
          - read_ds_0
          - read_ds_1
        transactionalReadQueryStrategy: PRIMARY # 事务内读请求的路由策略，可选值：PRIMARY（路由至主库）、FIXED（同一事务内路由至固定数据源）、DYNAMIC（同一事务内路由至非固定数据源）。默认值：DYNAMIC
        loadBalancerName: read # 负载均衡自定义算法名称
    # 负载均衡算法
    loadBalancers:
      read:  # 自定义的算法名称
        type: RANDOM # 负载均衡算法类型
props:
  # 是否打印 SQL
  sql-show: true

负载均衡（Load Balancing）用于将工作负载分配到多个计算资源，以提高性能、可靠性、可扩展性。读写分离环境下，对于多台从库的访问策略，ShardingSphere内置了多种负载均衡算法，满足用户绝大多数业务场景的需要

轮询

按顺序轮流对读库进行访问。

# 规则配置
rules:
  # 读写分离配置
  - !READWRITE_SPLITTING
    dataSources: # 数据源
      readwrite_ds: # 读写分离逻辑数据源名称
        writeDataSourceName: write_ds # 写库数据源名称
        readDataSourceNames: # 读库数据源名称，多个从数据源用逗号分隔
          - read_ds_0
          - read_ds_1
        transactionalReadQueryStrategy: PRIMARY # 事务内读请求的路由策略，可选值：PRIMARY（路由至主库）、FIXED（同一事务内路由至固定数据源）、DYNAMIC（同一事务内路由至非固定数据源）。默认值：DYNAMIC
        loadBalancerName: read # 负载均衡自定义算法名称
    # 负载均衡算法
    loadBalancers:
      read:  # 自定义的算法名称
        type: ROUND_ROBIN # 负载均衡算法类型
随机

随机选取一台读库进行访问。

# 规则配置
rules:
  # 读写分离配置
  - !READWRITE_SPLITTING
    dataSources: # 数据源
      readwrite_ds: # 读写分离逻辑数据源名称
        writeDataSourceName: write_ds # 写库数据源名称
        readDataSourceNames: # 读库数据源名称，多个从数据源用逗号分隔
          - read_ds_0
          - read_ds_1
        transactionalReadQueryStrategy: PRIMARY # 事务内读请求的路由策略，可选值：PRIMARY（路由至主库）、FIXED（同一事务内路由至固定数据源）、DYNAMIC（同一事务内路由至非固定数据源）。默认值：DYNAMIC
        loadBalancerName: read # 负载均衡自定义算法名称
    # 负载均衡算法
    loadBalancers:
      read:  # 自定义的算法名称
        type: RANDOM # 负载均衡算法类型
权重

给读库分配权重，权重高的优先访问。

# 规则配置
rules:
  # 读写分离配置
  - !READWRITE_SPLITTING
    dataSources: # 数据源
      readwrite_ds: # 读写分离逻辑数据源名称
        writeDataSourceName: write_ds # 写库数据源名称
        readDataSourceNames: # 读库数据源名称，多个从数据源用逗号分隔
          - read_ds_0
          - read_ds_1
        transactionalReadQueryStrategy: PRIMARY # 事务内读请求的路由策略，可选值：PRIMARY（路由至主库）、FIXED（同一事务内路由至固定数据源）、DYNAMIC（同一事务内路由至非固定数据源）。默认值：DYNAMIC
        loadBalancerName: read # 负载均衡自定义算法名称
    # 负载均衡算法
    loadBalancers:
      read:  # 自定义的算法名称
        type: WEIGHT # 负载均衡算法类型
        # 属性
        props:
          # 属性名使用读库名称，参数填写读库对应的权重值。权重参数范围最小值 > 0，合计 <= Double.MAX_VALUE。
          # 读库名称: 权重
          read_ds_0: 9
          read_ds_1: 1
自定义

考虑到业务场景的复杂性，提供基于SPI 接口实现符合自己业务需要的负载均衡算法。

ShardingSphere提供了读库负载均衡算法接口ReadQueryLoadBalanceAlgorithm，用户根据自定的算法返回一个可访问的读库。

public interface ReadQueryLoadBalanceAlgorithm extends ShardingSphereAlgorithm {

     /**
     *
     * @param name 读写分离逻辑数据源名称
     * @param writeDataSourceName 写库数据源名称
     * @param readDataSourceNames 读库数据源名称集合
     * @return 命中的读库名称
     */
    String getDataSource(String name, String writeDataSourceName, List<String> readDataSourceNames) {
    
    }

实现ReadQueryLoadBalanceAlgorithm接口，自定义一个负载均衡算法：

public final class CustomReadQueryLoadBalanceAlgorithm implements ReadQueryLoadBalanceAlgorithm {

    /**
     * 配置类中的props属性
     *     # 负载均衡算法
     *     loadBalancers:
     *       read:  # 自定义的算法名称
     *         type: CUSTOM # 负载均衡算法类型
     *         # 属性
     *         props:
     *           # 属性名使用读库名称，参数填写读库对应的权重值。权重参数范围最小值 > 0，合计 <= Double.MAX_VALUE。
     *           # 读库名称: 权重
     *           read_ds_0: 9
     *           read_ds_1: 1
     */
    private Properties props;
    
    // 将配置类props属性赋值给当前对象 
    public void init(Properties props) {
        this.props = props;
    }

    public String getDataSource(String name, String writeDataSourceName, List<String> readDataSourceNames) {
        // 自定义算法逻辑（这里演示，直接返回第一个）
        return readDataSourceNames.get(0);
    }

    /**
     * 声明算法类型
     */
    public String getType() {
        return "CUSTOM";
    }

    /**
     * 是否是默认
     */
    public boolean isDefault() {
        return false;
    }

    public Properties getProps() {
        return props;
    }

    public void setProps(Properties props) {
        this.props = props;
    }
}

在resources目录下创建META-INF\services文件夹，并创建文件，名称为org.apache.shardingsphere.readwritesplitting.spi.ReadQueryLoadBalanceAlgorithm，文件内容为自定义算法类全限定类名：

com.pearl.shardingsphere.rw.algorithm.CustomReadQueryLoadBalanceAlgorithm

配置类修改算法类型为自定义：

# 规则配置
rules:
  # 读写分离配置
  - !READWRITE_SPLITTING
    dataSources: # 数据源
      readwrite_ds: # 读写分离逻辑数据源名称
        writeDataSourceName: write_ds # 写库数据源名称
        readDataSourceNames: # 读库数据源名称，多个从数据源用逗号分隔
          - read_ds_0
          - read_ds_1
        transactionalReadQueryStrategy: PRIMARY # 事务内读请求的路由策略，可选值：PRIMARY（路由至主库）、FIXED（同一事务内路由至固定数据源）、DYNAMIC（同一事务内路由至非固定数据源）。默认值：DYNAMIC
        loadBalancerName: read # 负载均衡自定义算法名称
    # 负载均衡算法
    loadBalancers:
      read:  # 自定义的算法名称
        type: CUSTOM # 负载均衡算法类型

ShardingSphere 5.x 系列【5】Spring Boot 3 集成并实现读写分离
记录知识、锤炼自我
02-04 1745
读写分离是一种数据库部署架构，将数据库拆分为读库和写库，写库负责处理事务性的增删改操作，读库负责处理查询操作，适用于查询多，写入少的应用系统。读写分离将查询请求均匀的分散到多个从库中，可以提升数据库的吞吐量，可以提高系统的可用性，当宕机一台数据库不影响系统的正常运行。
[shardingSphere 使用与场景2] shardingSphere 读写分离配置
qq_34033770的博客
02-01 737
shradingSphere读写分离配置shardngSphere 的读写分离配置maven依赖配置yaml的数据源配置与策略配置需配置事务管理器与jdbcTemplate读写测试 shardngSphere 的读写分离配置 主要讲解shardngSphere 的读写分离配置与基础内容讲解 maven依赖配置 shardingSphere 版本 5.0.0-alpha， <dependency> <groupId>org.apache.shardingsphere</grou
SpringBoot3+ShardingJDBC5.5.0 读写分离配置
qq_22855851的博客
05-03 4090
这里我是用一个读库一个写库处理，数据库连接自己填，打印SQL可以开启可以看到读和写走到了不同的库，至于数据分片就不多赘述，我自己也没验证，不过估计在配置文件加入分片规则就可以做到，还有rules的下的配置一定要写SINGLE这个 不然它会报找不到表的错误，还有这个配置目前只有shardingjdbc 5.4.1和5.5.0可以用，其他版本并不通用 请不要混用。那么接下来就是重点了，然后是sharding.yaml的相关配置，因为官方的文档比较碎片化，最后进行校验和处理得出的完整文档。首先导入相关jar包。
spheresharding-jdbc5.5.2 springboot3 集成 分库分表+读写分离库
wadexi的博客
02-14 3289
然而，对于广播表，由于其数据的一致性需求，通常不适用读写分离策略。伤害日志可以看出，联表查询SELECT o.order_no, SUM(i.price * i.count AS amount FROM t_order o JOIN t_order_item i ON o.order_no = i.order_no GROUP BY o.order_no。实际上 是从 ds_3,ds_4,ds_5,ds_6 从/读库 上边 union 得到的数据。查询在ds_0 的从库ds_4,ds_5上 查询的。
spring boot 3 整合 shardingsphere jdbc mybatis plus 成功例子
weixin_63970315的博客
11-29 1179
建议先看上面这个文章。
springboot集成shardingsphere
学习的博客
06-15 577
springboot整合shardingsphere，进行分库和分表
ShardingSphere-ShardingSphere读写分离和数据脱敏
qq_39093474的博客
04-09 1033
读写分离虽然可以提升系统的吞吐量和可用性，但同时也带来了数据不一致的问题，包括多个主库之间的数据一致性，以及主库与从库之间的数据一致性的问题。水平分片和读写分离联合使用，能够更加有效的提升系统性能， 下图展现了将分库分表与读写分离一同使用时，应用程序与数据库集群之间的复杂拓扑关系。在数据量不是很多的情况下，我们可以将数据库进行读写分离，以应对高并发的需求，通过水平扩展从库，来缓解查询的压力。读写分离是通过主从的配置方式，将查询请求均匀的分散到多个数据副本，进一步的提升系统的处理能力。
6、ShardingSphere 之 读写分离
kingchengwen的专栏
07-02 2812
文章目录1 读写分离原理2 Mysql 配置主从复制2.1 创建2个Mysql 数据库服务，并启动两个Mysql服务2.2 配置Master库的/etc/my.cnf2.3 配置Slave库的/etc/my.cnf2.4 Master上创建用于主从复置的账号2.5 Slave上设置从库向主库同步3 ShardingSphere实现读写分离3.1 配置properties3.2 编写po3.3 编写mapper3.4 编写Test3.5 TestRest 1 读写分离原理 为了确保数据库产品的稳定性，很多数据
Spring Boot集成ShardingSphere实现读写分离 | Spring Cloud 43
热门推荐
gmHappy
05-06 1万+
通过一主多从的配置方式，可以将查询请求均匀的分散到多个数据副本，能够进一步的提升系统的处理能力。 使用多主多从的方式，不但能够提升系统的吞吐量，还能够提升系统的可用性，可以达到在任何一个数据库宕机，甚至磁盘物理损坏的情况下仍然不影响系统的正常运行。 与将数据根据分片键打散至各个数据节点的水平分片不同，读写分离则是根据 SQL 语义的分析，将读操作和写操作分别路由至主库与从库。
Spring Boot集成ShardingSphere实现读写分离：轻松提升数据库性能
u013558123的博客
04-13 786
通过本文的介绍和示例代码，相信你已经学会了在Spring Boot项目中集成ShardingSphere实现读写分离的方法。在实际开发中，读写分离可以有效提升数据库性能，应对高并发场景。选择ShardingSphere作为数据库中间件，可以帮助你轻松实现这一目标。
spheresharding-jdbc5.5.2 springboot3 集成读写分离库
wadexi的博客
02-13 774
5次读取随机落在两个读库317c_slave_of_317a 和 327b_slave_of_317a 上。yaml 配置的方式主要是配置，多看下一手官方文档和别人的示例。写入是在主库317a_master 上。注意版本问题，每个版本的配置都不太一样。关于如何搭建参考之前的文章。也可以只配置一个从库。
springboot3.0+shardingsphere5.2 最简单的分库分表
qq_43957369的博客
05-25 1075
#先看表结构 两个数据库test1,test2 每个库有4张sys_user表分别命名sys_user_0-4 #maven依赖 yaml配置 提示 使用mybatis-plus生成以下crud各种类就行 值得注意的是， 否则会报： 原因是可能是需要根据id分配路由到分片表吧
springboot3.2.3集成shardingsphere5.4.1及动态数据源
robotABC的博客
04-15 1349
说明1：上次记录了升级中踩坑的点，但是关于shardingsphere5.4.1版本适配的问题没有详细说明，此处提供demo项目（同时集成了集成了动态数据源）供后续参考（按照官方推荐的改动进行修改了，将会在官方的5.5.0版本包含改代码）。shardingsphere的个人不建议作为主数据源，主要原始是对sql的适配问题，即部分sql是不支持的。免费下载地址：https://download.youkuaiyun.com/download/robotABC/89125097。
SpringBoot3.x 集成 shardingsphere-jdbc 实现读写分离
最新发布
hkl_Forever的博客
03-29 426
【1】jdbc:shardingsphere:classpath:是数据源配置文件路径的前置固定写法，后面sharding-config.yml是刚才创建的数据源配置文件目录和名称。3、打开 bootstrap.yml 文件，添加 ShardingSphereDriver 驱动，以及数据源配置文件的路径。1、在 resources 目录下创建 sharding-config.yml 文件，并添加配置信息。【2】读写库配置、负载均衡规则、分片配置逻辑表等。【3】不同数据源对应的url属性有所不同，说明。
(三)springboot 整合shardingsphere 实现读写分离
qq_35840912的博客
12-01 1866
springboot shardingsphere
【实战】基于springboot2.7x集成ShardingSphere5.X的分表及自定义分片策略配置
qq_41856572的博客
05-15 2707
【实战】基于springboot2.7x集成ShardingSphere5.X的分表及自定义分片策略，一步一个坑，记录遇到的所有问题，以及解决问题的思路
SpringBoot + ShardingSphere实现读写分离，分库分表
汉南最後の読書人
11-26 4781
分布式项目在通过一定的服务拆分，项目运行一段时间以后，随着用户和使用资源的不断增大，数据库的性能也会面临瓶颈。单表数据量过大，超高并发的读写引发的锁问题，导致系统运行加载越来越慢，不时出现系统假死的现象，数据库的优化已将近极限，几乎没有空间，这时就需要考虑读写分离，分库分表（这里主要是水平的分库分表）的策略，来减少对同一数据库的访问的压力。 一.操作的工程目录 二.读写分离 application.yml ​ spring: shardingsphere: data.
SpringBoot中整合Sharding Sphere实现数据加解密/数据脱敏/数据库密文，查询明文
BADAO_LIUMANG_QIZHI的博客
07-15 3458
为防止数据泄露，需要在插入等操作时将某表的字段在数据库中加密存储，在需要查询使用时明文显示。
ShardingSphere-Proxy分表分库、读写分离基本使用（v5.4.1版本）
04-11 3570
基于目前最新版的ShardingSphere-Proxy（v5.4.1），网上找到文章大多基于老版本的，最近自己研究了下新版本，把最常用的读写分离、分库分表功能整理了下，分享给大家。
shardingsphere 读写分离
03-01
### ShardingSphere 中实现读写分离 #### 配置文件设置 为了在 ShardingSphere 5.5.1 版本中配置读写分离，需调整 `application.yml` 文件中的相应参数。具体来说，在 Spring Boot 应用程序中通过定义数据源以及读写分离规则来达成目标[^1]。 ```yaml spring: shardingsphere: datasource: names: master,slave_0,slave_1 master: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3306/master_db?serverTimezone=UTC&useSSL=false username: root password: root slave_0: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3307/slave_db_0?serverTimezone=UTC&useSSL=false username: root password: root slave_1: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3308/slave_db_1?serverTimezone=UTC&useSSL=false username: root password: root rules: readwrite-splitting: data-sources: ds_0: static-strategy: write-data-source-name: master read-data-source-names: slave_0,slave_1 ``` 上述 YAML 配置展示了如何指定主数据库 (`master`) 和两个从属副本 (`slave_0`, `slave_1`) 来支持读取负载均衡。对于每一个读请求，ShardingSphere 将自动选择其中一个可用的只读实例执行查询；而对于所有的写入操作，则始终定向到主节点处理[^2]。 #### 测试代码验证 下面是一个简单的测试类用于检验读写分离功能是否正常工作： ```java @SpringBootTest class ShardingsphereJdbcDemoApplicationTests { @Resource private UserMapper userMapper; @Test public void contextLoads() { } @Test void testInsertUser(){ User user = new User(); user.setUname("test_user"); int result = userMapper.insert(user); System.out.println(result>0?"插入成功":"插入失败"); } } ``` 此段 Java 测试案例创建了一个新的用户记录并尝试将其保存至数据库中。如果一切顺利的话，这条新纪录应该会被发送给主服务器进行存储[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值