sharding-jdbc02-分库分表实践

最新推荐文章于 2024-06-22 10:04:11 发布
最新推荐文章于 2024-06-22 10:04:11 发布
阅读量965 收藏
点赞数 1
分类专栏： MySQL 文章标签： java mysql 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/RX_780/article/details/124298124
版权

一、前文已经搭配好mysql主从环境，接着用springboot+druid+mybatisplus+shardingjdbc实践

springboot:2.3.5

pom.xml

<dependencies>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>1.1.10</version>
        </dependency>
        <!-- mybatis-plus begin -->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.4.0</version>
        </dependency>
        <!-- mybatis-plus end -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.1.1</version>
        </dependency>
    </dependencies>

数据库表用到cool1,cool2

USE `cool`;


/*Table structure for table `user_0` */

DROP TABLE IF EXISTS `user_0`;

CREATE TABLE `user_0` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

/*Table structure for table `user_1` */

DROP TABLE IF EXISTS `user_1`;

CREATE TABLE `user_1` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

/*Table structure for table `user_2` */

DROP TABLE IF EXISTS `user_2`;

CREATE TABLE `user_2` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

/*Table structure for table `user_3` */

DROP TABLE IF EXISTS `user_3`;

CREATE TABLE `user_3` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `user_4`;
CREATE TABLE `user_4` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;


USE `cool2`;


/*Table structure for table `user_0` */

DROP TABLE IF EXISTS `user_0`;

CREATE TABLE `user_0` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

/*Table structure for table `user_1` */

DROP TABLE IF EXISTS `user_1`;

CREATE TABLE `user_1` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

/*Table structure for table `user_2` */

DROP TABLE IF EXISTS `user_2`;

CREATE TABLE `user_2` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

/*Table structure for table `user_3` */

DROP TABLE IF EXISTS `user_3`;

CREATE TABLE `user_3` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `user_4`;

CREATE TABLE `user_4` (
  `id` INT(12) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(12) NOT NULL,
  `password` VARCHAR(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx-username` (`username`)
) ENGINE=INNODB  DEFAULT CHARSET=utf8;

配置文件：

spring:
  shardingsphere:
    datasource:
      names: master01,slave01,slave02,master11,slave11,slave12
      # 配置主库
      master01: #org.apache.tomcat.jdbc.pool.DataSource
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.0.197:3306/cool?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        #最大连接数
        maxPoolSize: 20
      slave01: # 配置第一个从库
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.1.129:3306/cool?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        maxPoolSize: 20
      slave02: # 配置第二个从库
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.0.125:3306/cool?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        maxPoolSize: 20
      # 配置第二个主库
      master11: #org.apache.tomcat.jdbc.pool.DataSource
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.0.197:3306/cool2?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        #最大连接数
        maxPoolSize: 20
      slave11: # 配置第二个主库的第一个从库
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.1.129:3306/cool2?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        maxPoolSize: 20
      slave12: # 配置第二个主库的第二个从库
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.0.125:3306/cool2?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT
        username: root
        password: Root@123456
        maxPoolSize: 20
#    masterslave: # 配置读写分离
#      load-balance-algorithm-type: ROUND_ROBIN # 配置从库选择策略，提供轮询与随机，这里选择用轮询//random 随机 //round_robin 轮询
#      name: db1s2
#      master-data-source-name: master01
#      slave-data-source-names: slave01,slave02
    props:
      sql: # 开启SQL显示，默认值: false，注意：仅配置读写分离时不会打印日志！！！
      show: true
      # 分表配置
#    sharding:
#      tables:
#        user: #分表，数据库实际的表名称
#          actual-data-nodes: ds_0.user_$->{0..3}
#          table-strategy:
#            standard:
#              sharding-column: id
#              precise-algorithm-class-name: com.sharding.ms.config.MyPreciseShardingAlgorithm # 分表策略
#      master-slave-rules:
#        ds_0:
#          master-data-source-name: master01
#          slave-data-source-names: slave01,slave02
      # 分库分表配置
    sharding:
      default-database-strategy:
        inline:
          sharding-column: id
          algorithm-expression: ds_$->{id % 2} # 分库策略
      tables:
        user:
          actual-data-nodes: ds_$->{0..1}.user_$->{0..4}
          table-strategy:
            inline:
              sharding-column: id
              algorithm-expression: user_$->{id % 5} # 分表策略
      master-slave-rules:
        ds_0:
          master-data-source-name: master01
          slave-data-source-names: slave01,slave02
        ds_1:
          master-data-source-name: master11
          slave-data-source-names: slave11,slave12

启动类

// 使用druid多数据源需要把自身的数据源类排除
@SpringBootApplication(exclude = {DruidDataSourceAutoConfigure.class, JtaAutoConfiguration.class})
@MapperScan("com.sharding.ms.dao")
public class Application {

    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}

测试类，基本的增删改查

    @Autowired
    private UserService userService;

    @GetMapping("/list")
    public Object list() {
        return userService.list();
    }

//    @GetMapping("/add")
//    public Object add(@RequestParam Integer id, @RequestParam String username, @RequestParam String  password) {
//        User user = new User();
//        user.setId(id);
//        user.setUsername(username);
//        user.setPassword(password);
//        return userService.save(user);
//    }

    @GetMapping("/add")
    public Object add() {

        for(int i=100;i<150;i++) {
            User user = new User();
            user.setId(i);
            user.setUsername("test"+(i));
            user.setPassword("1233edwd");
            userService.save(user);
        }
        return "ok";
    }

测试结果：

 

可以看到已经根据设置的分库分表策略存储数据。

本文参考了Sharding-JDBC教程：Spring Boot整合Sharding-JDBC实现分库分表+读写分离_方志朋的博客-优快云博客_sharding-jdbc springboot

 其实，这个只是体验了解sharding-jdbc而已，了解的过程我就有一些疑问的，比如分页查询，排序，分页查询中的一对多关系查询，还有一些sharding-jdbc的局限等等。

 

springboot整合sharding-jdbc实现分库分表详解
congge
05-21 7855
springboot整合sharding-jdbc实现分库分表详解
sharding-jdbc 分库分表(二)
乐百寿
05-29 615
一，什么是Sharding-JDBC Sharding-JDBC是当当网研发的开源分布式数据库中间件，从3.0开始Sharding-JDBC被包含在Sharding-Sphere中，4.0版本之后的版本为Apache版本。 ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar这三款相互独立的产品组成，他们均提供标准化的数据分片、分布式事务和数据库治理能力。 Sharding-JDBC，它
sharding （一）不分库 只分表 （根据 id 主键）进行分表，standard: 标准分片策略，用于单分片键的场景
du_senge的博客
01-16 8102
配置有三种策略： defaultDataSourceName: 默认数据源，未配置分片规则的表将通过默认数据源定位   tables: 分库分表配置，可配置多个logic_table_name     &lt;logic_table_name&gt;: 逻辑表名         actualDataNodes: 真实数据节点，由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持inli...
Sharding-JDBC 分库分表、读写分离实战
jiqiren1994的博客
02-17 472
需求 采⽤Sharding-JDBC实现c_order表分库分表+读写分离 基于user_id对c_order表进⾏数据分⽚ 分别对master1和master2搭建⼀主⼆从架构 基于master1和master2主从集群实现读写分离 c_order建表SQL如下： CREATE TABLE `c_order`( `id` bigint(20) NOT NULL AUTO_INCREMENT, `is_del` bit(1) NOT NULL DEFAULT 0 COMMENT '是否被删 除',
ShardingJdbc实战-分库分表
Grady的博客
03-01 1806
ShardingJdbc分库分表，分库分表策略及代码配置
Sharding-JDBC分表实践
wistchen
07-16 262
一 Sharding-JDBC分表实践 1.0 背景 这周问了小组长有任务吗？组长说暂时没有任务了，让我了解下分表技术。原因是因为随着公司发展，用户量大量增加，业务也越来越繁杂。一张表的字段有几十个上百个，一张表存储的数据也很多。这样数据库的压力就比较大了。 之后我便打开了我的B站，开始了解一波。 2.0 垂直分表、垂直分库 （表和库都是不一样的） 2.1 垂直分表 一般将不常用的、数据较大、长度较长的拆分到"扩展表"。 2.2 垂直分库 一个数据库的表太多，按照一定业务逻辑
【Sharding-JDBC】分库分表实际应用
舒克日记的博客
08-23 444
1、一套开源的分布式数据库中间件解决方案2、有三个产品：Sharding-JDBC 和 Sharding-Proxy3、定位为关系型数据库中间件，合理在分布式环境下使用关系型数据库操作什么是分库分表1、数据库数据量不可控的，随着时间和业务发展，造成表里面数据越来越多，如果再去对数据库表 curd 操作时候，造成性能问题。2、方案 1：从硬件上3、方案 2：分库分表为了解决由于数据量过大而造成数据库性能降低问题。分库分表的方式1、是轻量级的 java 框架，是增强版的 JDBC 驱动。
分库分表(3)——ShardingJDBC实践
yangnk的技术记录
10-10 469
Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款相互独立，却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。一套开源的分布式数据库中间件解决方案。有三个产品：JDBC、Proxy、Sidecar。
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能
09-07
五、分库分表实践 1. 定义分片策略：例如，可以根据用户ID的哈希值对用户表进行分库，根据订单创建日期对订单表进行分表。 2. 创建数据库和表：按照分片策略创建相应的数据库和表。 3. 编写SQL语句：由于Sharding-...
sharding-jdbc之——分库分表实例完整源码
02-25
**标题与描述解析** ...以上就是围绕Sharding-JDBC分库分表实例的详细知识点，通过这些内容，开发者可以了解到如何在实际项目中利用Sharding-JDBC进行数据库的水平扩展，并掌握其核心功能和使用技巧。
SpringBoot+Sharding-JDBC分库分表实战
06-11
《SpringBoot+Sharding-JDBC分库分表实战》是一个深度探讨如何在Java环境中利用SpringBoot框架和Sharding-JDBC库实现数据库分库分表的实践教程。本教程旨在帮助开发者掌握在高并发、大数据量场景下，如何有效提升...
spring+mybatis+sharding-jdbc 1.3.1实现分库分表案例（可直接运行）
04-09
本案例基于Spring、MyBatis和Sharding-JDBC 1.3.1版本，提供了一个可以直接运行的分库分表实现，帮助开发者快速理解和实践这一技术。 首先，我们要理解什么是分库分表。分库是指将一个大型数据库拆分为多个小型...
Sharding-JDBC （一）—— 核心概念
zhouhuahao的博客
03-10 289
一.SQL 逻辑表会在SQL解析和路由时被替换成真实的表名 1) 逻辑表 水平拆分的数据库（表）的相同逻辑和数据结构表的总称。例：订单数据根据主键尾数拆分为 10 张表，分别是t_order0到t_order9，他们的逻辑表名为t_order。 2)真实表 在分片的数据库中真实存在的物理表。即上个示例中的t_order0到t_order9。 3)数据节点 数...
分库分表—ShardingJDBC
最新发布
Eris_QwQ的博客
06-22 1355
定位为轻量级 Java框架，在 Java 的 JDBC层提供的额外服务，它使用客户端直连数据库，以 jar包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC驱动，完全兼容 JDBC 和各种 ORM框架。适用于任何基于 JDBC 的 ORM框架，如：JPA、Hibernate、Mybatis、Spring JDBC Template 或是直接使用 JDBC；支持任何第三方的数据库连接池，如：DBCP、C3P0、BoneCP、HikariCP 等；
Sharding-JDBC实现分库分表
qq_42628272的博客
04-04 681
在复杂的业务场景中，一张表的数据量可能会达到上千万条数据，这远远超过了数据库可以承受的性能范围，从而引入分库分表的概念。将数据以某种方式分散的存在不同的数据库/表中，从而从扩充物理资源的角度提升数据的存储性能。
Sharding-Jdbc实战之二：MySQL主从复制
akenseren的博客
10-15 1130
本文是《Sharding-Jdbc实战》学习过程中的第二篇记录文章，主要介绍MySQL主从复制的大概原理和在docker下搭建mysql主从复制环境的环境，为后文的实战搭建必要环境，下一篇将在实战中体会读写分离。
ShardingJDBC分库分表实战与核心原理-01
YanQiuXiang
07-03 831
ShardingSphere是一款起源于当当网内部的应用框架。2015年在当当网内部诞生，最初就叫ShardingJDBC。2016年的时候，由其中一个主要的开发人员张亮，带入到京东数科，组件团队继续开发。在国内历经了当当网、电信翼支付、京东数 科等多家大型互联网企业的考验，在2017年开始开源。并逐渐由原本只关注于关系 型数据库增强工具的ShardingJDBC升级成为一整套以数据分片为基础的数据生态 圈，更名为ShardingSphere。
五、Sharding JDBC实战-join关联查询（一）
m0_37932830的博客
12-01 767
Sharding JDBC实战-join查询
Sharding-JDBC教程-2：Spring Boot整合Sharding-JDBC实现Mysql主从同步配置
不积跬步无以至千里，不积小流无以成江河
06-27 708
前言： 上一篇文章我们在3台虚拟机安装好Mysql，但是安装好Mysql后，并不能达到主从节点同步的目的，现在让我们配置3台节点之间的主从同步。 Mysql主从配置 机器准备 在三台机器上按照Msql安装教程安装完Mysql5.7，三台机器的ip分别为: 192.168.88.161 主 192.168.88.162 从 192.168.88.163 从 在三台机器上分别创建2个数据库，分别为cool和cool2，字符编码为utf8: CREATE DATABASE `cool` CHARACTER
Sharding-Jdbc实践：分库分表与读写分离策略解析
资源摘要信息:"Sharding-Jdbc实现读写分离和分库分表方案" Sharding-Jdbc作为一个轻量级Java框架，在分布式数据库架构中发挥着重要作用，尤其在实现数据库的读写分离和分库分表场景下被广泛使用。通过Sharding-Jdbc...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值