Mycat实现分库分表_mycat如何对现有库做分库分表

本文链接：https://blog.youkuaiyun.com/2301_82241942/article/details/138331189

准备两个数据库

编号	角色	`IP`地址	机器名
1	`mysql-node1`	192.168.110.146	`ubuntu-mysql-node1`
2	`mysql-node2`	192.168.110.148	`ubuntu-mysql-node2`

修改schema配置文件，具体配置如下：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
             <table name="customer" dataNode="dn2" ></table>
        </schema>
        <dataNode name="dn1" dataHost="host1" database="orders" />
        <dataNode name="dn2" dataHost="host2" database="orders" />
        <dataHost name="host1" maxCon="1000" minCon="10" balance="0"
 writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="hostM1" url="192.168.110.146:3306" user="root"
 password="123456">
                </writeHost>
        </dataHost>
        <dataHost name="host2" maxCon="1000" minCon="10" balance="0"
 writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="hostM2" url="192.168.110.148:3306" user="root"
 password="123456">
                </writeHost>
        </dataHost>
</mycat:schema>

新建两个空白库orders

分库操作不是在原来的老数据库上进行操作，需要准备两台机器分别安装新的数据库。

在数据节点dn1、dn2上分别创建数据库orders：

CREATE DATABASE orders;

启动Mycat

./mycat console

访问Mycat进行分库

mysql -umycat -p123456 -h 192.168.110.145 -P 8066

切换到TESTDB

use TESTDB;

创建四个表，客户表( customer)、订单表( orders)、订单详细表( orders_detail) 、订单状态字典表( dict_order_type)

# 客户表
CREATE TABLE customer(
 id INT AUTO_INCREMENT,
 NAME VARCHAR(200),
 PRIMARY KEY(id)
);

# 订单表
CREATE TABLE orders(
 id INT AUTO_INCREMENT,
 order_type INT,
 customer_id INT,
 amount DECIMAL(10,2),
 PRIMARY KEY(id)
);

#订单详细表
CREATE TABLE orders_detail(
 id INT AUTO_INCREMENT,
 detail VARCHAR(2000),
 order_id INT,
 PRIMARY KEY(id)
);

#订单状态字典表
CREATE TABLE dict_order_type(
 id INT AUTO_INCREMENT,
 order_type VARCHAR(200),
 PRIMARY KEY(id)
);

查看表信息，可以看到成功分库。

* `Mycat`

 
```
mysql> show tables;
+------------------+
| Tables_in_orders |
+------------------+
| customer         |
| dict_order_type  |
| orders           |
| orders_detail    |
+------------------+
4 rows in set (0.01 sec)

```
* 数据节点`mysql-node1`

 
```
mysql> use orders;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+------------------+
| Tables_in_orders |
+------------------+
| dict_order_type  |
| orders           |
| orders_detail    |
+------------------+
3 rows in set (0.00 sec)

```
* 数据节点`mysql-node2`

 
```
mysql> use orders;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+------------------+
| Tables_in_orders |
+------------------+
| customer         |
+------------------+
1 row in set (0.00 sec)

```

二、水平拆分-分表

相对于垂直拆分，水平拆分不是将表做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就是将表中的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中，如图：

在这里插入图片描述

2.1、实现分表

选择要拆分的表

MySQL单表存储数据条数是有瓶颈的，单表达到1000万条数据就达到了瓶颈，会影响查询效率，需要进行水平拆分（分表）进行优化。

例如：例子中的orders、orders_detail数据会很大，需要进行分表优化。
2. 分表字段

以orders表为例，可以根据不同自字段进行分表

编号	分表字段	效果
1	id（主键、或创建时间）	查询订单注重时效，历史订单被查询的次数少，如此分片会造成一个节点访问多，一个访问少，不平均。
2	customer_id（客户 id）	根据客户 id 去分，两个节点访问平均，一个客户的所有订单都在同一个节点

修改配置文件schema.xml

为orders表设置数据节点为dn1、dn2，并指定分片规则为mod_rule（自定义的名字）

<table name="orders" dataNode="dn1,dn2" rule="mod\_rule" ></table>

完整配置：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
             <table name="customer" dataNode="dn2" ></table>
             <table name="orders" dataNode="dn1,dn2" rule="mod\_rule" ></table>
        </schema>
        <dataNode name="dn1" dataHost="host1" database="orders" />
        <dataNode name="dn2" dataHost="host2" database="orders" />
        <dataHost name="host1" maxCon="1000" minCon="10" balance="0"
 writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="hostM1" url="192.168.110.146:3306" user="root"
 password="123456">
                </writeHost>
        </dataHost>
        <dataHost name="host2" maxCon="1000" minCon="10" balance="0"
 writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="hostM2" url="192.168.110.148:3306" user="root"
 password="123456">
                </writeHost>
        </dataHost>
</mycat:schema>

修改配置文件rule.xml

在rule配置文件里新增分片规则mod_rule，并指定规则适用字段为customer_id。

还有选择分片算法mod-long（对字段求模运算），customer_id对两个节点求模，根据结果分片。

配置算法mod-long参数count为2，两个节点：

<tableRule name="mod\_rule">
		<rule>
				<columns>customer_id</columns>
				<algorithm>mod-long</algorithm>
		</rule>
</tableRule>

mod-long规则为配置文件自带的，修改count属性。代表意思为，根据count数取模

<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
		<!-- how many data nodes -->
		<property name="count">2</property>
</function>

需单独在数据节点mysql-node2创建orders表

# 订单表
CREATE TABLE orders(
 id INT AUTO_INCREMENT,
 order_type INT,
 customer_id INT,
 amount DECIMAL(10,2),
 PRIMARY KEY(id)
);

重启Mycat，让配置生效

在Mycat里向orders表插入数据，INSERT字段不能省略。Mycat需要根据字段进行分片操作。

INSERT INTO orders(id,order_type,customer_id,amount) VALUES (1,101,100,100100);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(2,101,100,100300);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(3,101,101,120000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(4,101,101,103000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(5,102,101,100400);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(6,102,100,100020);

* `Mycat`

 
```
mysql> select * from orders;
+----+------------+-------------+-----------+
| id | order_type | customer_id | amount    |
+----+------------+-------------+-----------+
|  1 |        101 |         100 | 100100.00 |
|  2 |        101 |         100 | 100300.00 |
|  6 |        102 |         100 | 100020.00 |
|  3 |        101 |         101 | 120000.00 |
|  4 |        101 |         101 | 103000.00 |
|  5 |        102 |         101 | 100400.00 |
+----+------------+-------------+-----------+
6 rows in set (0.04 sec)

```
* 数据节点`mysql-node1`

 
```
mysql> select * from orders;
+----+------------+-------------+-----------+
| id | order_type | customer_id | amount    |
+----+------------+-------------+-----------+
|  1 |        101 |         100 | 100100.00 |
|  2 |        101 |         100 | 100300.00 |
|  6 |        102 |         100 | 100020.00 |
+----+------------+-------------+-----------+
3 rows in set (0.00 sec)

```
* 数据节点`mysql-node2`

 
```
mysql> select * from orders;
+----+------------+-------------+-----------+
| id | order_type | customer_id | amount    |
+----+------------+-------------+-----------+
|  3 |        101 |         101 | 120000.00 |
|  4 |        101 |         101 | 103000.00 |
|  5 |        102 |         101 | 100400.00 |
+----+------------+-------------+-----------+
3 rows in set (0.00 sec)

```

2.2、Mycat 的分片 join-ER 表

orders订单表已经进行分表操作了，和它关联的orders_detail订单详情表如何进行join查询。

我们要对orders_detail也要进行分片操作。join的原理如下图：

在这里插入图片描述

2.2.1、ER 表

Mycat借鉴了NewSQL领域的新秀Foundation DB 的设计思路，Foundation DB 创新性的提出了Table Group的概念，其将子表的存储位置依赖于主表，并且物理上紧邻存放，因此彻底解决了JION 的效率和性能问题，根据这一思路，提出了基于E-R关系的数据分片策略，子表的记录与所关联的父表记录存放在同一个数据分片上。

修改配置文件schema.xml

<table name="orders" dataNode="dn1,dn2" rule="mod\_rule" >
    <childTable name="orders\_detail" primaryKey="id" joinKey="order\_id" parentKey="id" />
</table>

需在数据节点mysql-node2创建orders表

#订单详细表
CREATE TABLE orders_detail(
 id INT AUTO_INCREMENT,
 detail VARCHAR(2000),
 order_id INT,
 PRIMARY KEY(id)
);

重启Mycat

在Mycat里向orders_detail表插入数据，INSERT字段不能省略。Mycat需要根据字段进行分片操作。

INSERT INTO orders_detail(id,detail,order_id) values(1,'detail1',1);
INSERT INTO orders_detail(id,detail,order_id) VALUES(2,'detail1',2);
INSERT INTO orders_detail(id,detail,order_id) VALUES(3,'detail1',3);
INSERT INTO orders_detail(id,detail,order_id) VALUES(4,'detail1',4);
INSERT INTO orders_detail(id,detail,order_id) VALUES(5,'detail1',5);
INSERT INTO orders_detail(id,detail,order_id) VALUES(6,'detail1',6);

运行两个表join语句

+ `Mycat`

 
```
mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
+----+------------+-------------+-----------+---------+
| id | order_type | customer_id | amount    | detail  |
+----+------------+-------------+-----------+---------+
|  1 |        101 |         100 | 100100.00 | detail1 |
|  2 |        101 |         100 | 100300.00 | detail1 |
|  6 |        102 |         100 | 100020.00 | detail1 |
|  3 |        101 |         101 | 120000.00 | detail1 |
|  4 |        101 |         101 | 103000.00 | detail1 |
|  5 |        102 |         101 | 100400.00 | detail1 |
+----+------------+-------------+-----------+---------+
6 rows in set (0.03 sec)

```
+ `mysql-node1`

 
```
mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
+----+------------+-------------+-----------+---------+
| id | order_type | customer_id | amount    | detail  |
+----+------------+-------------+-----------+---------+
|  1 |        101 |         100 | 100100.00 | detail1 |
|  2 |        101 |         100 | 100300.00 | detail1 |
|  6 |        102 |         100 | 100020.00 | detail1 |
+----+------------+-------------+-----------+---------+
3 rows in set (0.01 sec)

```
+ `mysql-node2`

 
```
mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
+----+------------+-------------+-----------+---------+
| id | order_type | customer_id | amount    | detail  |
+----+------------+-------------+-----------+---------+
|  3 |        101 |         101 | 120000.00 | detail1 |
|  4 |        101 |         101 | 103000.00 | detail1 |
|  5 |        102 |         101 | 100400.00 | detail1 |
+----+------------+-------------+-----------+---------+
3 rows in set (0.00 sec)

```

2.2.2、全局表

在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联，就成了比较棘手的问题，考虑到字典表具有以下几个特性：

变动不频繁
数据量总体变化不大
数据规模不大，很少有超过数十万条记录

鉴于此，Mycat定义了一种特殊的表，称之为“全局表”，全局表具有以下特性：

全局表的插入、更新操作会实时在所有节点上执行，保持各个分片的数据一致性
全局表的查询操作，只从一个节点获取
全局表可以跟任何一个表进行JOIN操作

将字典表或者符合字典表特性的一些表定义为全局表，则从另外一个方面，很好的解决了数据JOIN的难题。通过全局表+基于E-R关系的分片策略，Mycat可以满足 80%以上的企业应用开发

配置步骤：

修改配置文件schema.xml

<table name="dict\_order\_type" dataNode="dn1,dn2" type="global" ></table>

需在数据节点mysql-node2创建dict_order_type表

#订单状态字典表
CREATE TABLE dict_order_type(
 id INT AUTO_INCREMENT,
 order_type VARCHAR(200),
 PRIMARY KEY(id)
);

重启Mycat

在Mycat里向dict_order_type表插入数据。

INSERT INTO dict_order_type(id,order_type) VALUES(101,'type1');
INSERT INTO dict_order_type(id,order_type) VALUES(102,'type2');

1. + `Mycat`
	
	 
	```
	mysql> select * from dict_order_type;
	+-----+------------+
	| id  | order_type |
	+-----+------------+
	| 101 | type1      |
	| 102 | type2      |
	+-----+------------+
	2 rows in set (0.04 sec)
	
	```
	+ 数据节点`mysql-node1`
	
	 
	```
	mysql> select * from dict_order_type;
	+-----+------------+
	| id  | order_type |
	+-----+------------+
	| 101 | type1      |
	| 102 | type2      |
	+-----+------------+
	2 rows in set (0.00 sec)
	
	```
	+ 数据节点`mysql-node2`
	
	 
	```
	mysql> select * from dict_order_type;
	+-----+------------+
	| id  | order_type |
	+-----+------------+
	| 101 | type1      |
	| 102 | type2      |
	+-----+------------+
	2 rows in set (0.00 sec)
	
	```

三、常用分片规则

3.1、取模

此规则为对分片字段求摸运算。也是水平分表最常用规则。配置分表中，orders表采用了此规则。

3.2、分片枚举

通过在配置文件中配置可能的枚举id，自己配置分片，本规则适用于特定的场景，比如有些业务需要按照省份或区县来做保存，而全国省份区县固定的，这类业务使用本条规则。

配置步骤：

修改配置文件schema.xml

<table name="orders\_ware\_info" dataNode="dn1,dn2" rule="sharding\_by\_intfile" ></table>

修改配置文件rule.xml

        <tableRule name="sharding\_by\_intfile">
                <rule>
                        <columns>areacode</columns>
                        <algorithm>hash-int</algorithm>
                </rule>
        </tableRule>

+ `columns`：分片字段
+ `algorithm`：分片函数

        <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
                <property name="mapFile">partition-hash-int.txt</property>
                <property name="type">1</property>
                <property name="defaultNode">0</property>
        </function>

+ `mapFile`：标识配置文件名称
+ `type`：0为int型、非0为`String`
+ `defaultNode`：默认节点。小于 0 表示不设置默认节点，大于等于 0 表示设置默认节点，设置默认节点如果碰到不识别的枚举值，就让它路由到默认节点，如不设置不识别就报错。

修改配置文件partition-hash-int.txt

110=0
120=1

重启Mycat

在Mycat里创建表。

# 订单归属区域信息表
CREATE TABLE orders_ware_info
(
	`id` INT AUTO_INCREMENT comment '编号',
	`order_id` INT comment '订单编号',
	`address` VARCHAR(200) comment '地址',
	`areacode` VARCHAR(20) comment '区域编号',
	PRIMARY KEY(id)
);

插入数据

INSERT INTO orders_ware_info(id, order_id,address,areacode) VALUES (1,1,'北京','110');
INSERT INTO orders_ware_info(id, order_id,address,areacode) VALUES (2,2,'天津','120');

+ `Mycat`

 
```
mysql> select * from orders_ware_info;
+----+----------+---------+----------+
 | id | order_id | address | areacode |
+----+----------+---------+----------+
 |  1 |        1 | 北京    | 110      |
|  2 |        2 | 天津    | 120      |
+----+----------+---------+----------+
2 rows in set (0.02 sec)

```
+ 数据节点`mysql-node1`

 
```
mysql> select * from orders_ware_info;
+----+----------+---------+----------+
 | id | order_id | address | areacode |
+----+----------+---------+----------+
 |  1 |        1 | 北京    | 110      |
+----+----------+---------+----------+
1 row in set (0.00 sec)

```
+ 数据节点`mysql-node2`

 
```
mysql> select * from orders_ware_info;
+----+----------+---------+----------+
| id | order_id | address | areacode |
 +----+----------+---------+----------+
|  2 |        2 | 天津    | 120      |
+----+----------+---------+----------+
1 row in set (0.00 sec)

```

3.3、范围约定

此分片适用于提前规划好分片字段某个范围属于哪个分片。

配置步骤：

修改配置文件schema.xml

<table name="payment\_info" dataNode="dn1,dn2" rule="auto\_sharding\_long" ></table>

修改配置文件rule.xml

        <tableRule name="auto\_sharding\_long">
                <rule>
                        <columns>order_id</columns>
                        <algorithm>rang-long</algorithm>
                </rule>
        </tableRule>

+ `columns`：分片字段
+ `algorithm`：分片函数

        <function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
                <property name="mapFile">autopartition-long.txt</property>
                <property name="defaultNode">0</property>
        </function>

+ `mapFile`：标识配置文件名称
+ `defaultNode`：默认节点。小于 0 表示不设置默认节点，大于等于 0 表示设置默认节点，设置默认节点如果碰到不识别的枚举值，就让它路由到默认节点，如不设置不识别就报错。

修改配置文件autopartition-long.txt

0-102=0
103-200=1

重启Mycat

在Mycat里创建表。

# 支付信息表
CREATE TABLE payment_info
(
    `id` INT AUTO_INCREMENT comment '编号',
    `order_id` INT comment '订单编号',
    `payment_status` INT comment '支付状态',


![img](https://img-blog.csdnimg.cn/img_convert/b6d2d65cc33957317fea518ef72039b3.png)
![img](https://img-blog.csdnimg.cn/img_convert/b80debc1764a2e2c8da38c58c6d1a5fa.png)
![img](https://img-blog.csdnimg.cn/img_convert/f61bf29d40604566c72457e98a32109d.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.youkuaiyun.com/topics/618545628)**

function>

+ `mapFile`：标识配置文件名称
+ `defaultNode`：默认节点。小于 0 表示不设置默认节点，大于等于 0 表示设置默认节点，设置默认节点如果碰到不识别的枚举值，就让它路由到默认节点，如不设置不识别就报错。

修改配置文件autopartition-long.txt

0-102=0
103-200=1

重启Mycat

在Mycat里创建表。

# 支付信息表
CREATE TABLE payment_info
(
    `id` INT AUTO_INCREMENT comment '编号',
    `order_id` INT comment '订单编号',
    `payment_status` INT comment '支付状态',


[外链图片转存中...(img-hs81YWMl-1714415512376)]
[外链图片转存中...(img-FOnncHOk-1714415512376)]
[外链图片转存中...(img-xaJHQyVp-1714415512376)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.youkuaiyun.com/topics/618545628)**