MyCat水平拆分——分表

最新推荐文章于 2025-06-22 00:37:03 发布

㏒灵韵№

最新推荐文章于 2025-06-22 00:37:03 发布

阅读量746

点赞数

CC 4.0 BY-SA版权

分类专栏： MySql 文章标签： java jvm 算法

本文链接：https://blog.youkuaiyun.com/daai5201314/article/details/126811527

MySql 专栏收录该内容

19 篇文章

订阅专栏

本文详细介绍了Mycat数据库中间件的水平拆分策略，包括选择分表、定义分片字段、修改配置文件、创建分片表以及重启Mycat生效。同时，讨论了分片Join操作，通过E-R表实现子表与父表的关联查询，以及全局表的概念。此外，还探讨了Mycat的全局序列解决方案，包括时间戳、数据库方式等，确保分布式环境下的主键唯一性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

相对于垂直拆分，水平拆分不是将表做分类，而是 按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就是将表中的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中，如图：
在这里插入图片描述

1.实现分表

1.1.选择要拆分的表

MySQL单表存储数据条数是有瓶颈的，单表达到1000万条数据就达到了瓶颈，会影响查询效率，需要进行水平拆分（分表）进行优化。

例如：例子中的orders、orders_detail都已经达到600万行数据，需要进行分表优化。

1.2.分表字段

以orders表为例，可以根据不同自字段进行分表

编号	分表字段	效果
1	id,createtime（主键、或创建时间）	查询订单注重时效，历史订单被查询的次数少，如此分片会造成一个节点访问多，一个访问少，不平均。
2	customer_id（客户id）	根据客户id去分，两个节点访问平均，一个客户的所有订单都在同一个节点

1.3.停止mycat修改配置文件schema.xml

#为orders表设置数据节点为dn1、dn2，并指定分片规则为mod_rule（自定义的名字）
<table name="orders" dataNode="dn1,dn2"  rule="mod_rule" ></table>
#如下图

在这里插入图片描述

1.4.停止mycat修改配置文件rule.xml

#在rule配置文件里新增分片规则mod_rule，并指定规则适用字段为customer_id， 
#还有选择分片算法mod-long（对字段求模运算），customer_id对两个节点求模，根据结果分片
#新增配置算法mod-long参数count为2，两个节点
<tableRule name="mod_rule">
             <rule>
                        <columns>customer_id</columns>
                        <algorithm>mod-long</algorithm>
               </rule>
       </tableRule>
…
在原有的配置中将 3--->2即可！
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
                <!-- how many data nodes -->
                <property name="count">2</property>
     </function>

1.5.在数据节点dn2上建orders表

CREATE TABLE orders(
    id INT AUTO_INCREMENT,
    order_type INT,
    customer_id INT,
    amount DECIMAL(10,2),
    PRIMARY KEY(id)  
);

1.6.重启Mycat配置生效，将配置文件重新导入

1.7.访问Mycat灌数据实现分片

#在mycat里向orders表插入数据，INSERT时字段不能省略
INSERT INTO orders(id,order_type,customer_id,amount) VALUES (1,101,100,100100);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(2,101,100,100300);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(3,101,101,120000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(4,101,101,103000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(5,102,101,100400);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(6,102,100,100020);
#在mycat、dn1、dn2中查看orders表数据，分表成功

在这里插入图片描述

2.Mycat 的分片“join”

Orders订单表已经进行分表操作了，和它关联的orders_detail订单详情表如何进行join查询。

我们要对orders_detail也要进行分片操作。Join的原理如下图：
在这里插入图片描述

2.1.E-R表

子表的记录与所关联的父表记录存放在同一个数据分片上

#修改schema.xml配置文件
…
<table name="orders" dataNode="dn1,dn2"  rule="mod_rule" >
    <childTable name="orders_detail" primaryKey="id" joinKey="order_id" parentKey="id" />
</table>
…
#在dn2创建orders_detail表
CREATE TABLE orders_detail(
    id INT AUTO_INCREMENT,
    detail VARCHAR(2000),
    order_id INT,
    PRIMARY KEY(id)
);

#导入配置文件，重启Mycat

#访问Mycat向orders_detail表插入数据
INSERT INTO orders_detail(id,detail,order_id) VALUES(1,'detail1',1);
INSERT INTO orders_detail(id,detail,order_id) VALUES(2,'detail1',2);
INSERT INTO orders_detail(id,detail,order_id) VALUES(3,'detail1',3);
INSERT INTO orders_detail(id,detail,order_id) VALUES(4,'detail1',4);
INSERT INTO orders_detail(id,detail,order_id) VALUES(5,'detail1',5);
INSERT INTO orders_detail(id,detail,order_id) VALUES(6,'detail1',6);
#在mycat、dn1、dn2中运行两个表join语句
select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;

在这里插入图片描述

2.2.全局表

在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联，就成了比较棘手的问题，考虑到字典表具有以下几个特性：

1.变动不频繁
2.数据量总体变化不大
3.数据规模不大，很少有超过数十万条记录鉴于此，Mycat 定义了一种特殊的表，称之为“全局表”，全局表具有以下特性：
4.全局表的插入、更新操作会实时在所有节点上执行，保持各个分片的数据一致性
5.全局表的查询操作，只从一个节点获取
6.全局表可以跟任何一个表进行 JOIN 操作将字典表或者符合字典表特性的一些表定义为全局表，则从另外一个方面，很好的解决了数据 JOIN 的难题。通过全局表+基于 E-R 关系的分片策略，Mycat 可以满足 80%以上的企业应用开发!

#修改schema.xml配置文件
…
<table name="orders" dataNode="dn1,dn2"  rule="mod_rule" >
    <childTable name="orders_detail" primaryKey="id" joinKey="order_id" parentKey="id" />
</table>
<table name="dict_order_type" dataNode="dn1,dn2" type="global" ></table>
…

在这里插入图片描述

#在dn2创建dict_order_type表
CREATE TABLE dict_order_type(
    id INT AUTO_INCREMENT,
    order_type VARCHAR(200),
    PRIMARY KEY(id)
);
#导入配置文件，重启Mycat
#访问Mycat向dict_order_type表插入数据
INSERT INTO dict_order_type(id,order_type) VALUES(101,'type1');
INSERT INTO dict_order_type(id,order_type) VALUES(102,'type2');
#在Mycat、dn1、dn2中查询表数据

在这里插入图片描述

3.全局序列

在实现分库分表的情况下，数据库自增主键已无法保证自增主键的全局唯一。
为此，Mycat 提供了全局 sequence，并且提供了包含本地配置和数据库配置等多种实现方式

3.1.本地文件

此方式 Mycat 将 sequence 配置到文件中，当使用到 sequence 中的配置后，Mycat 会更下 
classpath 中的 sequence_conf.properties 文件中 sequence 当前的值。
/usr/local/mycat/conf/sequence_conf.properties
优点：本地加载，读取速度较快
缺点：抗风险能力差，Mycat所在主机宕机后，无法读取本地文件。

3.2.时间戳方式

全局序列ID= 64 位二进制 (42(毫秒)+5(机器 ID)+5(业务编码)+12(重复累加) 换算成十进制为 18 位数的 long 类型，每毫秒可以并发 12 位二进制的累加。
在这里插入图片描述
优点：配置简单
缺点：18位ID过长

3.3.自主生成全局序列

可在java项目里自己生成全局序列，如下：
根据业务逻辑组合
可以利用 redis的单线程原子性 incr来生成序列
但，自主生成需要单独在工程中用java代码实现，增加了分布式项目的复杂性

3.4.数据库方式★

1.建库序列脚本

#在dn1主机上创建全局序列表
CREATE TABLE MYCAT_SEQUENCE (
NAME VARCHAR(50) NOT NULL,
current_value INT NOT NULL,
increment INT NOT NULL DEFAULT 100, 
PRIMARY KEY(NAME)) 
ENGINE=INNODB;
# 查询数据
SELECT * FROM MYCAT_SEQUENCE;
#清空数据
TRUNCATE TABLE MYCAT_SEQUENCE;
# truncate : 表示直接情况所有数据，不留任何痕迹！使用回滚无效！
#创建全局序列所需函数：官方提供
DELIMITER $$ 
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC  
BEGIN
DECLARE retval VARCHAR(64);
SET retval="-999999999,null";
SELECT CONCAT(CAST(current_value AS CHAR),",",CAST(increment AS CHAR)) INTO retval FROM
MYCAT_SEQUENCE WHERE NAME = seq_name;
RETURN retval;
END $$
 DELIMITER $$
CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),VALUE INTEGER) RETURNS VARCHAR(64)
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = VALUE
WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END $$
 
DELIMITER $$
CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS VARCHAR(64) 
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = current_value + increment WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END $$

#初始化序列表记录
INSERT INTO MYCAT_SEQUENCE(NAME,current_value,increment) VALUES ('ORDERS', 400000,100);

在这里插入图片描述
2.修改Mycat配置

#修改sequence_db_conf.properties 
vim sequence_db_conf.properties
#意思是 ORDERS这个序列在dn1这个节点上，具体dn1节点是哪台机子，请参考schema.xml

在这里插入图片描述

#修改server.xml
vim server.xml
16行#全局序列类型：0-本地文件，1-数据库方式，2-时间戳方式。此处应该修改成1。

在这里插入图片描述

#重启Mycat

3.验证全局序列

#登录Mycat，插入数据
insert into orders(id,amount,customer_id,order_type) 
values(next value for MYCATSEQ_ORDERS,1000,101,102);
#查询数据

在这里插入图片描述

#重启Mycat后，再次插入数据，再查询(模拟Mycat备机上线)

在这里插入图片描述
总结：

利用数据库一个表来进行计数累加。但是并不是每次生成序列都读写数据库，这样效率太低。
Mycat会预加载一部分号段到Mycat的内存中，这样大部分读写序列都是在内存中完成的。
如果内存中的号段用完了
Mycat会再向数据库要一次。
问：如果Mycat崩溃了，内存中的序列岂不是都没了？
是的。如果是这样，那么Mycat启动后会向数据库申请新的号段，原有号段会弃用。
也就是说如果Mycat重启，那么损失是当前的号段没用完的号码，但是不会因此出现主键重复