sharding-jdbc简介及分表使用

原创 已于 2022-12-22 16:56:54 修改 · 1.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mybatis #java #spring boot

于 2021-02-07 16:54:39 首次发布
本文详述了SpringBoot如何集成sharding-jdbc进行分表操作，包括添加测试库表、引入依赖、配置数据源和分表策略、创建实体类与Service、解决遇到的mysql连接版本、druid包依赖和数据源已绑定等问题，以及多数据源配置。

文章目录

前言

本文主要介绍SpringBoot集成sharding-jdbc，使用sharding-jdbc分表相关功能使用。

一、sharding-jdbc是什么？

sharding-jdbc可以帮助我们。shardingSphere官网

二、使用步骤

1、添加测试库表

CREATE TABLE `t_user_0` (
  `ID` bigint(20) NOT NULL COMMENT '分布式ID',
  `COMPANY_ID` int(50) NOT NULL COMMENT '公司ID',
  `NAME` varchar(50) CHARACTER SET utf8 DEFAULT NULL COMMENT '用户姓名',
  `AGE` int(3) DEFAULT NULL COMMENT '年龄',
  `ADDRESS` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '地址',
  `CREATE_TIME` datetime DEFAULT NULL,
  `CREATE_USER` varchar(255) DEFAULT NULL,
  `UPDATE_TIME` datetime DEFAULT NULL,
  `UPDATE_USER` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='测试表';

CREATE TABLE `t_user_1` (
  `ID` bigint(20) NOT NULL COMMENT '分布式ID',
  `COMPANY_ID` int(50) NOT NULL COMMENT '公司ID',
  `NAME` varchar(50) CHARACTER SET utf8 DEFAULT NULL COMMENT '用户姓名',
  `AGE` int(3) DEFAULT NULL COMMENT '年龄',
  `ADDRESS` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '地址',
  `CREATE_TIME` datetime DEFAULT NULL,
  `CREATE_USER` varchar(255) DEFAULT NULL,
  `UPDATE_TIME` datetime DEFAULT NULL,
  `UPDATE_USER` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='测试表';

2.引入maven依赖

        <!-- MyBatis-Plus -->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.1.1</version>
        </dependency>

        <!--pageHelper-->
        <dependency>
            <groupId>com.github.pagehelper</groupId>
            <artifactId>pagehelper-spring-boot-starter</artifactId>
            <version>1.2.3</version>
            <exclusions>
                <exclusion>
                    <groupId>org.mybatis</groupId>
                    <artifactId>mybatis</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.mybatis</groupId>
                    <artifactId>mybatis-spring</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <!--mysql-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>

        <!--druid-->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.1.22</version>
        </dependency>

        <!-- sharding-jdbc -->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.1.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-namespace</artifactId>
            <version>4.1.1</version>
        </dependency>

3.配置数据源及分表策略

spring.shardingsphere.datasource.names=ds0
spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://x.x.x.x:3306/saas_health?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT%2B8
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=

spring.shardingsphere.sharding.tables.t_user.actual-data-nodes=ds0.t_user_$->{0..1}
spring.shardingsphere.sharding.tables.t_user.table-strategy.inline.sharding-column=COMPANY_ID
spring.shardingsphere.sharding.tables.t_user.table-strategy.inline.algorithm-expression=t_user_$->{COMPANY_ID % 2}
spring.shardingsphere.props.sql.show=true

4.创建实体类及Service

这里只提供实体类，service可以参考本人关于mybatis-plus使用的博客。

package com.example.demo.entity;

import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;

import java.util.Date;

/**
 * All rights Reserved, Designed By www.biosan.cn
 *
 * @Description:
 * @author: 牛二强
 * @date: 2021/2/2 14:37
 */
@Data
@TableName("t_user")
public class TestUser {

    private Long id;

    private Long companyId;

    private String name;

    private Integer age;

    private String address;

    private String createUser;

    private Date createTime;

    private String updateUser;

    private Date updateTime;

    public TestUser() {
    }

    public TestUser(Long companyId, String name, Integer age, String address) {
        this.companyId = companyId;
        this.name = name;
        this.age = age;
        this.address = address;
    }
}

5.录入数据

    @Test
    public void testUser1(){
        TestUser user = new TestUser(27L,"jack",18,"杭州市");
        user.setCreateUser("NEQ");
        user.setCreateTime(new Date());
        testUserService.save(user);
    }

在这里插入图片描述

6.遇到的问题

  • mysql连接版本问题
Caused by: java.sql.SQLException: Table name pattern can not be NULL or empty.
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:545)
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:513)
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:505)

       这里的版本如果使用6.x版本就会出现上面问题，替换为5.x就没问题了
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>  
        </dependency>
  • druid包依赖问题
Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'dataSource' defined in class path resource [com/alibaba/druid/spring/boot/autoconfigure/DruidDataSourceAutoConfigure.class]: Invocation of init method failed; nested exception is org.springframework.boot.autoconfigure.jdbc.DataSourceProperties$DataSourceBeanCreationException: Failed to determine a suitable driver class
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1794)
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:594)
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:516)
	at org.springframework.beans.factory.support.AbstractBeanFactory.lambda$doGetBean$0(AbstractBeanFactory.java:324)

		这里不能依赖这个starter
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>1.1.10</version>
        </dependency>

		需要修改为原始druid包
		 <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.1.22</version>
        </dependency>
  • sharding-jdbc依赖引入错误
Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'io.shardingsphere.shardingjdbc.spring.boot.SpringBootConfiguration': Initialization of bean failed; nested exception is java.lang.NullPointerException
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:602)
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:516)
	at org.springframework.beans.factory.support.AbstractBeanFactory.lambda$doGetBean$0(AbstractBeanFactory.java:324)
	at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:234)

		去除下面两个依赖
        <dependency>
            <groupId>io.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>3.1.0</version>
        </dependency>

        <dependency>
            <groupId>io.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-namespace</artifactId>
            <version>3.1.0</version>
        </dependency>
  • dataSource is already bound错误，这个问题之前出现过，但是目前复现不出来了。按照上面的配置，应该不会出现了。

7.多数据源配置及默认数据源配置

spring.profiles.active=test

server.port=9997

spring.jpa.database-platform=org.hibernate.dialect.MySQL5InnoDBDialect

spring.jackson.dateFormat=yyyy-MM-dd HH:mm:ss
spring.jackson.timeZone=GMT+0

spring.servlet.multipart.max-request-size=10MB
spring.servlet.multipart.max-file-size=10MB

spring.cloud.loadbalancer.ribbon.enabled=false

spring.application.name=games-service
eureka.client.fetch-registry=true
eureka.instance.prefer-ip-address=true
eureka.instance.lease-renewal-interval-in-seconds=5
eureka.instance.lease-expiration-duration-in-seconds=15
eureka.instance.non-secure-port=${server.port}


spring.shardingsphere.datasource.names=ds0,ds1
spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://172.30.10.43:3306/sdp_account?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC&zeroDateTimeBehavior=convertToNull
spring.shardingsphere.datasource.ds0.username=test
spring.shardingsphere.datasource.ds0.password=password

#默认数据源，如果部分表不进行分表，则加此配置
spring.shardingsphere.sharding.default-data-source-name=ds1

spring.shardingsphere.sharding.tables.t_user.actual-data-nodes=ds0.t_user_$->{0..8}
spring.shardingsphere.sharding.tables.t_user.table-strategy.inline.sharding-column=app_id
spring.shardingsphere.sharding.tables.t_user.table-strategy.inline.algorithm-expression=t_user_$->{app_id % 9}
spring.shardingsphere.sharding.tables.t_user.key-generator.column=id
spring.shardingsphere.sharding.tables.t_user.key-generator.type=SNOWFLAKE

spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds1.url=jdbc:mysql://172.30.10.43:3306/sdp_games?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC&zeroDateTimeBehavior=convertToNull
spring.shardingsphere.datasource.ds1.username=test
spring.shardingsphere.datasource.ds1.password=password

spring.shardingsphere.sharding.tables.t_app_user_detail.actual-data-nodes=ds1.t_app_user_detail_$->{0..8}
spring.shardingsphere.sharding.tables.t_app_user_detail.table-strategy.inline.sharding-column=app_id
spring.shardingsphere.sharding.tables.t_app_user_detail.table-strategy.inline.algorithm-expression=t_app_user_detail_$->{app_id % 9}
spring.shardingsphere.sharding.tables.t_app_user_detail.key-generator.column=id
spring.shardingsphere.sharding.tables.t_app_user_detail.key-generator.type=SNOWFLAKE

spring.shardingsphere.props.sql.show=true

总结

以上就是今天要讲的内容，本文仅仅简单介绍了sharding-jdbc的分表使用，而sharding-jdbc还提供分库、读写分离、分布式事务等一系列功能，本文就不做过多介绍，感兴趣可以到官网查看使用手册学习，这里给出链接：官网手册。

爱个锤子
关注
sharding-jdbc使用
eos2009的博客
03-06 6351
示例代码    https://gitee.com/chenfei01/my-zb/tree/master/learn-sharding-jdbc简介    sharding-jdbc是当当提供的开源的分库分表，读写分离工具，已jar包形式提供服务，不需要中间层，不需要部署    功能简介：        分库分表        读写分离        分布式主键（64位   一位符号为 0  +...
【教程】shardingjdbc(五)默认策略配置
愤怒的菜鸟博客
02-15 4031
默认数据源如何选择的 假设又有一个user表；对于user表因为数据量比较小，是不需要配置分片的; 主要的配置信息为: 1. 2个数据源 2. 只对order 进行分表; spring: application: name: shardingjdbcDemo main: allow-bean-definition-overriding: true shardingsphere: #数据源信息 datasource: #名称为dbsou
ShardingJDBC 水平分库 + 读写分离
最新发布
学长的猫的博客
11-18 322
plaintext。
# Sharding-JDBC从入门到精通（6）-- Sharding-JDBC 水平分库 和 垂直分库。
段子手168的博客
07-02 1989
# Sharding-JDBC从入门到精通（6）- Sharding-JDBC 水平分库 和 垂直分库。 01-Sharding-JDBC水平分库-分片策略配置 02-Sharding-JDBC水平分库-插入订单 03-Sharding-JDBC水平分库-查询订单 04-Sharding-JDBC垂直分库-分片策略配置 05-Sharding-JDBC垂直分库-插入和查询测试
sharding-jdbc的使用
weixin_46264060的博客
12-15 2506
本文将说明sharding-jdbc的分片功能和数据加密功能
sharding-jdbc教程
qq_43843037的博客
01-20 1827
sharding-jdbc教程 ​ Sharding-JDBC是ShardingSphere的第一个产品，也是ShardingSphere的前身。 它定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 适用于任何基于JDBC的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。 支持任何
sharding-jdbc按月分表样例
10-25
【标题】"sharding-jdbc按月分表样例"是一个关于使用Sharding-JDBC进行数据库分片的示例项目，旨在展示如何根据月份动态地将数据分散到不同的表中，以实现数据的水平扩展和负载均衡。Sharding-JDBC是阿里巴巴开源的...
Sharding-JDBC 范围分表实例
10-14
Sharding-JDBC 通过在应用层引入分库分表的逻辑，从而实现了分库分表的功能，无需额外的中间件，降低了分布式数据库的使用复杂度。 范围分表是一种常见的分表策略，它根据数据的范围来划分表。比如，可以根据时间...
sharding-jdbc按月分表样例2
05-28
**标题：“sharding-jdbc按月分表样例2”** **描述：“sharding-jdbc样例，当中包含了按月动态分表，一个比较简单的demo，仅供参考！”** **标签：“sharing-jdbc 分库分表 java”** 在Java开发中，面对大数据量...
精选资源
Sharding-JDBC使用案例-分库分表
03-23
**Sharding-JDBC简介** Sharding-JDBC是由阿里巴巴开源的轻量级Java框架，它定位为数据库中间件，提供了一种无需修改现有应用代码就能实现数据库分库分表的能力。Sharding-JDBC完全基于JDBC标准，可以理解为一个...
基于 SpringBoot + ShardingSphere（Sharding-JDBC） 的水平分表测试项目+源代码+文档说明
11-29
- **分片：** 单库多表，通过 Sharding-JDBC 水平分表后操作 - **不分片：** 单库单表，通过 JDBC 操作 ## 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！...
sharding-jdbc
04-03
sharding-jdbc 分库分表框架，可单独分库分表
Sharding-JDBC简单使用
Curtisjia的博客
09-21 2627
sharding-jdbc 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。JAVA APIYamlSpringBootSpring 命名空间（xml 配置文件）
跟着小刘一起入门一下Sharding jdbc
程序员小刘
06-27 924
文章目录sharding jdbc -缘起分库分表的出现小结分库分表带来问题Sharding JDBC 介绍快速入门 sharding jdbc -缘起 前段时间，在工作接手了一个新的项目，我问Boss，这个项目使用的是什么技术，老板轻描淡写的说到，还是那一套 Springboot ，就是 用了一下了那个分库分表技术，你端午节，去了解一下这个技术 ,Sharding jdbc 唉！ 又要了解新技术，还真是活到老，学到老啊！ 天天都有去了解新技术，这东西居然没听过，加上我不喜欢看视频，然后就默默打开
Sharding-JDBC快速使用【笔记】
一朝风月
01-03 1290
Sharding-JDBC快速使用【笔记】
Sharding JDBC 基本使用
weixin_40663800的博客
04-07 2357
创建数据库： t_order1，t_order2 订单表水平分表，订单表含有字段 字段：order_id 订单id price 价格 user_id 用户id status 订单状态 引入maven： springboot + mybatis 框架 引入 sharding jdbc 依赖包 sharding-jdbc-spring-boot-starter 分片规则配置： ...
sharding jdbc使用详解
lonely_baby的博客
02-22 1685
在这个例子中，t_order 表会被分成两个物理表 t_order_0 和 t_order_1，分别存储 order_id 值为偶数和奇数的数据。在这个例子中，Sharding-JDBC 数据源是通过 ShardingDataSourceFactory 创建的，使用了前面配置的分片规则和 SQL 解析规则。接下来，需要在 Spring 配置文件中配置 SQL 解析规则。以上是 Sharding-JDBC 的使用详解说明，使用 Sharding-JDBC 可以轻松地实现分布式数据库的横向扩展。
Sharding-JDBC实际使用方法
weixin_46158141的博客
10-12 2742
Sharding-JDBC实际使用方法一、下面简单讲解一下sharding-JDBC的实际用法？1.水平分表2.水平分库3.垂直分库总结 一、下面简单讲解一下sharding-JDBC的实际用法？ 1.水平分表 水平分表是在同一个数据库内 ，把同一个表的数据按一定规则拆到多个表中。 水平分表在上一章中快速入门已经实现。就不重述了。 2.水平分库 前面已经介绍过 ，水平分库是把同一个表的数据按一定规则拆到不同的数据库中 ，每个库可以放在不同的服务器 上。 接下来看一下如何使用Sharding-JDBC实现
Sharding-jdbc基本使用步骤以及执行原理剖析
qq_46248151的博客
12-13 1988
使用sharding-jdbc完成对订单表的水平分表，通过快速入门的开发，了解sharding-jdbc使用方法人工创建两张表，t_order_1和t_order_2，这两张表是订单表拆分后的表，通过sharding-jdbc向订单表插入数据，按照一定的分片规则，主键为偶数的进入t_order_1，另一部分数据进入t_order_2，通过sharding-jdbc查询数据，根据SQL语句的内容从t_order_1或t_order_2查询数据。
Sharding-JDBC按月分表实战演示
3. **Sharding-JDBC简介：**Sharding-JDBC是由当当网开源的一套分布式数据库访问解决方案，它在应用层实现了数据库的分库分表，操作简单，易于维护。Sharding-JDBC不依赖外部依赖，应用直接连接到Sharding-JDBC，像...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值