mycat 分片数据平滑迁移实施过程

最新推荐文章于 2022-07-25 14:36:17 发布
最新推荐文章于 2022-07-25 14:36:17 发布
阅读量1w 收藏 2
点赞数
分类专栏： mycat
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdnhsh/article/details/95736482
版权

1，实践扩容

 travelrecord表定义为10个分片，尝试将10个分片中的2个分片转移到第二台MySQL上，并完成记录

要求，最快的数据迁移做法，中断业务时间最短

 

 

2，思路说明

 

2.1，10个分片的环境准备

 

我的理解里面，分片就代表了集群，一个分片就是一个实例，迁移2个分片，就是迁移2个实例到新的环境上面，但是由于测试没法准备那么多10个实例，所以用一个database来代表一个实例一个分片，这样测试起来方便简单快捷得多；

 

2.2，数据迁移最快、时间最短

要中断业务时间最短，那么只有第二个实例上也有在实际生产环境中，也就是说，基本在数据迁移这中间时间最短，这种目前可以用mysql主从的机制来实现，因为主从同步延迟基本上是1秒以下，基本能满足需求。

1). 在迁移前，修改mycat配置。

2). 将第二台MySQL实例作为第一个Master的slave，注意，只同步db5、db6这两个分片。

3). 等同步完成后在业务量较小的时候，重新加载mycat

4). 登录第一个Master节点，手动删除两个分片的数据。

 

2.3，服务器准备：

 

 

 

名称                     

Ip地址                  

端口                  

Mycat

192.168.121.52

8066

Mysql 主

192.168.121.61

3306

Mysql从

192.168.121.12

3307

 

 

 

3，mysql5.6.12主从搭建

Mysql5.6.12安装：http://blog.youkuaiyun.com/mchdba/article/details/35994251

主从搭建：

A）在主库（121.61）上创建复制用户：GRANT REPLICATION SLAVE ON *.* TO 'repl_mycat'@'192.168.%' IDENTIFIED BY  'replmycattest';  grant all on *.* to root@'192.168.%' identified by '';

 

B）在主库上（121.61）获取复制position：show master status;

C）在从上，修改my.cnf配置文件，只同步2个分片的数据，

replicate-do-db=db5

replicate-do-db=db6

D）在从库上（121.12）开始搭建复制：

stop slave;

reset slave;

change master to master_user='repl_mycat', master_password='replmycattest', master_host='192.168.121.61',master_port=3306, master_log_file='mysql-bin.025055',master_log_pos=120;

start slave;

show slave status\G

 

 

 

 

原blog地址：http://blog.youkuaiyun.com/mchdba/article/details/50991649，未经过原作者mchdba（黄杉）同意，谢绝转载。

 

4，准备在主库上建好10个分片

这里如果按照实际是需要10个mysql实例的，因为一个实例一个分片，我这里仅仅是功能测试，所以一时没有那么多实例，就用了实例上的多个db库来代替，达到类似多个分片的效果，可以理解一个库一个分片，db1就是第一个分片，db2就是第二个分片，db3就是第三个分片……db10就是第10个分片，在主库上192.168.121.61执行，会自动同步到从库192.168.121.12上面去。

 

 

 

mysql> create database db1;                                                                                                                                                                                                                                                               

Query OK, 1 row affected (0.00 sec)

 

mysql>

mysql> create database db2;

Query OK, 1 row affected (0.00 sec)

 

mysql> create database db3;

Query OK, 1 row affected (0.00 sec)

 

mysql> create database db4;

Query OK, 1 row affected (0.00 sec)

 

mysql> create database db5;

Query OK, 1 row affected (0.01 sec)

 

mysql> create database db6;

Query OK, 1 row affected (0.00 sec)

 

mysql> create database db7;

Query OK, 1 row affected (0.00 sec)

 

mysql> create database db8;

Query OK, 1 row affected (0.00 sec)

 

mysql> create database db9;

Query OK, 1 row affected (0.00 sec)

 

mysql> create database db10;

Query OK, 1 row affected (0.00 sec)

 

mysql>

 

 

 

5，准备mycat配置文件

 

Schema.xml迁移前的配置（迁移前是如下配置，迁移后会有变化） ：

<!— 配置表 -->                                                                                                                                                                                                                                                                                            

<table name="travelrecord" dataNode="dn$1-10" rule="auto-sharding-long" />

<!— 配置分片 -->

 

        <dataNode name="dn1" dataHost="dh1" database="db1" />

        <dataNode name="dn2" dataHost="dh1" database="db2" />

        <dataNode name="dn3" dataHost="dh1" database="db3" />

        <dataNode name="dn4" dataHost="dh1" database="db4" />

        <dataNode name="dn5" dataHost="dh1" database="db5" />

        <dataNode name="dn6" dataHost="dh1" database="db6" />

        <dataNode name="dn7" dataHost="dh1" database="db7" />

        <dataNode name="dn8" dataHost="dh1" database="db8" />

        <dataNode name="dn9" dataHost="dh1" database="db9" />

        <dataNode name="dn10" dataHost="dh1" database="db10" />

        <dataHost name="dh1" maxCon="1000" minCon="10" balance="0"

                        writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

                                        <heartbeat>select user()</heartbeat>

                <writeHost host="hostM1" url="192.168.121.61:3306" user="root"  password=""/>

        </dataHost>

 

分片规则文件：

[root@oracle_standby conf]# more autopartition-long.txt                                                                                                                                                                                                                   

0-10=0

10-20=1

20-30=2

30-40=3

40-50=4

50-60=5

60-70=6

70-80=7

80-90=8

90-100=9

[root@oracle_standby conf]#

 

之后启动mycat。

 

6，往10个分片里面录入测试数据

准备工作：

建表sql：                                                                                                                                                                                                                                                                                        

CREATE TABLE `travelrecord` (

  `id` bigint(20) NOT NULL,

  `user_id` varchar(100) DEFAULT NULL,

  `traveldate` date DEFAULT NULL,

  `fee` decimal(10,0) DEFAULT NULL,

  `days` int(11) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

 

录入测试数据：

insert into travelrecord(id,user_id,traveldate,fee,days) values(1,'000001',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(3,'000001',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(11,'110002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(13,'130002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(21,'210003',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(23,'230003',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(31,'310002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(33,'330002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(41,'410002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(43,'430002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(51,'510002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(53,'530002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(61,'610002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(63,'630002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(71,'710002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(73,'730002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(81,'810002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(83,'830002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(91,'910002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(93,'930002',now(),1235,6);

 

 

执行过程：

 执行过程如下：                                                                                                                                                                                                                                                                               

mysql> CREATE TABLE `travelrecord` (

    ->   `id` bigint(20) NOT NULL,

    ->   `user_id` varchar(100) DEFAULT NULL,

    ->   `traveldate` date DEFAULT NULL,

    ->   `fee` decimal(10,0) DEFAULT NULL,

    ->   `days` int(11) DEFAULT NULL,

    ->   PRIMARY KEY (`id`)

    -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

Query OK, 0 rows affected (0.05 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(1,'000001',now(),1235,6);

now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(13,'130002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(21,'210003',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(23,'230003',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(31,'310002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(33,'330002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(41,'410002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(43,'430002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(51,'510002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(53,'530002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(61,'610002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(63,'630002',now(),1235,6);

insert iQuery OK, 1 row affected, 1 warning (0.02 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(3,'000001',now(),1235,6);

nto travelrecord(id,user_id,traveldate,fee,days) values(71,'710002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(73,'730002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(81,'810002',now(),Query OK, 1 row affected, 1 warning (0.01 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(11,'110002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(13,'130002',now(),1235,6);

1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(83,'830002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(91,'910002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(9Query OK, 1 row affected, 1 warning (0.01 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(21,'210003',now(),1235,6);

3,'930002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(101,'1010002',now(),1235,6);

insert into travelrecord(id,user_id,traveldate,fee,days) values(103,'1030002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(23,'230003',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(31,'310002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.01 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(33,'330002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(41,'410002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.01 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(43,'430002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(51,'510002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(53,'530002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(61,'610002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(63,'630002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.01 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(71,'710002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(73,'730002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(81,'810002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.01 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(83,'830002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(91,'910002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.00 sec)

 

mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(93,'930002',now(),1235,6);

Query OK, 1 row affected, 1 warning (0.01 sec)

 

mysql>

 

 

查看执行路由导向：

                                                                                                                                                     

 

mysql> explain select * from travelrecord;                                                                                                                                                                                                                                    
+-----------+--------------------------------------+
| DATA_NODE | SQL                                  |
+-----------+--------------------------------------+
| dn1       | SELECT * FROM travelrecord LIMIT 100 |
| dn10      | SELECT * FROM travelrecord LIMIT 100 |
| dn2       | SELECT * FROM travelrecord LIMIT 100 |
| dn3       | SELECT * FROM travelrecord LIMIT 100 |
| dn4       | SELECT * FROM travelrecord LIMIT 100 |
| dn5       | SELECT * FROM travelrecord LIMIT 100 |
| dn6       | SELECT * FROM travelrecord LIMIT 100 |
| dn7       | SELECT * FROM travelrecord LIMIT 100 |
| dn8       | SELECT * FROM travelrecord LIMIT 100 |
| dn9       | SELECT * FROM travelrecord LIMIT 100 |
+-----------+--------------------------------------+
10 rows in set (0.00 sec)
 
mysql>
 

 

 

 

去mysql实例上验证数据已经分到10个分片上了：

                                                                                                                                                                                                                                                                                                              

 

mysql> select * from db1.travelrecord;
+----+---------+------------+------+------+
| id | user_id | traveldate | fee  | days |
+----+---------+------------+------+------+
|  1 | 000001  | 2016-03-27 | 1235 |    6 |
|  3 | 000001  | 2016-03-27 | 1235 |    6 |
+----+---------+------------+------+------+
2 rows in set (0.00 sec)
 
mysql> select * from db2.travelrecord;
+----+---------+------------+------+------+
| id | user_id | traveldate | fee  | days |
+----+---------+------------+------+------+
| 11 | 110002  | 2016-03-27 | 1235 |    6 |
| 13 | 130002  | 2016-03-27 | 1235 |    6 |
+----+---------+------------+------+------+
2 rows in set (0.00 sec)
mysql> select * from db5.travelrecord;
+----+---------+------------+------+------+
| id | user_id | traveldate | fee  | days |
+----+---------+------------+------+------+
| 41 | 410002  | 2016-03-27 | 1235 |    6 |
| 43 | 430002  | 2016-03-27 | 1235 |    6 |
+----+---------+------------+------+------+
2 rows in set (0.00 sec)
 
mysql>
mysql> select * from db9.travelrecord;
+----+---------+------------+------+------+
| id | user_id | traveldate | fee  | days |
+----+---------+------------+------+------+
| 81 | 810002  | 2016-03-27 | 1235 |    6 |
| 83 | 830002  | 2016-03-27 | 1235 |    6 |
+----+---------+------------+------+------+
2 rows in set (0.00 sec)
 
mysql> select * from db10.travelrecord;
+----+---------+------------+------+------+
| id | user_id | traveldate | fee  | days |
+----+---------+------------+------+------+
| 91 | 910002  | 2016-03-27 | 1235 |    6 |
| 93 | 930002  | 2016-03-27 | 1235 |    6 |
+----+---------+------------+------+------+
2 rows in set (0.00 sec)
 
mysql>
 

 

 

7，mycat分片迁移前配置文件修改

要将db5、db6这2个分片切到第二个实例，也就是从库192.168.121.12上面去，都在schema.xml里面修改：

新添加从库的dataHost配置：

 

        <dataHost name="dh2" maxCon="1000" minCon="10" balance="0"                                                                                                                                                                                
                                writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                           <heartbeat>select user()</heartbeat>
                           <writeHost host="hostM1" url="192.168.121.12:3307" user="root"  password=""/>
         </dataHost>
 

 

 

修改db5、db6分片的位置：

 

        <dataNode name="dn5" dataHost="dh2" database="db5" />                                                
        <dataNode name="dn6" dataHost="dh2" database="db6" />

 

 

8，在业务量小的时候，比如凌晨，进行切换

先在db5、db6之上做flush table命令将db5.travelrecord、db6.travelrecord内存中数据刷到磁盘中，并重新加载mycat：

A）先在dh1上192.168.121.61刷磁盘

 

mysql> flush table db2.travelrecord,db3.travelrecord with read lock;                                                                                                               
Query OK, 0 rows affected (0.00 sec)
 
mysql>
 

 

 

B）然后重新加载mycat，使改动的新配置的分片到新实例上生效

 

mysql> reload @@config;
ERROR 1064 (HY000): com.alibaba.druid.sql.parser.ParserException: syntax error, error in :'reload @@config',expect IDENTIFIER, actual IDENTIFIER reload
mysql>

 

WHY？我的reload失败了？，看来只有restart了

 

[root@oracle_standby logs]# ../bin/mycat restart
Stopping Mycat-server...
Stopped Mycat-server.
Starting Mycat-server...
[root@oracle_standby logs]#

 

 

C）之后去dh1上解锁表

 

 

mysql> unlock tables;               
Query OK, 0 rows affected (0.00 sec)
 
mysql>
 

 

 

D）然后验证mycat上刀片完整性，如下是完整的

 mysql> explain select * from travelrecord;                                                                                                                                                                                                                                     

+-----------+--------------------------------------+
| DATA_NODE | SQL                                  |
+-----------+--------------------------------------+
| dn1       | SELECT * FROM travelrecord LIMIT 100 |
| dn10      | SELECT * FROM travelrecord LIMIT 100 |
| dn2       | SELECT * FROM travelrecord LIMIT 100 |
| dn3       | SELECT * FROM travelrecord LIMIT 100 |
| dn4       | SELECT * FROM travelrecord LIMIT 100 |
| dn5       | SELECT * FROM travelrecord LIMIT 100 |
| dn6       | SELECT * FROM travelrecord LIMIT 100 |
| dn7       | SELECT * FROM travelrecord LIMIT 100 |
| dn8       | SELECT * FROM travelrecord LIMIT 100 |
| dn9       | SELECT * FROM travelrecord LIMIT 100 |
+-----------+--------------------------------------+
10 rows in set (0.20 sec)
 
mysql>
 

 

 

E）去看mycat.log后台日志，发现db5、db6已经连接到新的实例192.168.121.12:3307上面了

 03/27 14:10:58.433 INFO [$_NIOREACTOR-1-RW] (GetConnectionHandler.java:66) -connected successfuly MySQLConnection [id=11, lastTime=1459059058433, user=root, schema=db6, old shema=db6, borrowed=true, fromSlaveDB=false, threadId=216, charset=utf8, txIsolation=0, autocommit=true, attachment=null, respHandler=null, host=192.168.121.12, port=3307, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]                                       

03/27 14:10:58.434   INFO [$_NIOREACTOR-1-RW] (GetConnectionHandler.java:66) -connected successfuly MySQLConnection [id=13, lastTime=1459059058433, user=root, schema=db5, old shema=db5, borrowed=true, fromSlaveDB=false, threadId=218, charset=utf8, txIsolation=0, autocommit=true, attachment=null, respHandler=null, host=192.168.121.12, port=3307, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]

 

 

9，录入新的数据，验证下

在mycat窗口执行录入：

 mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(45,'450002',now(),1235,6);                                                                                                                                      

Query OK, 1 row affected, 1 warning (0.03 sec)
 
mysql> insert into travelrecord(id,user_id,traveldate,fee,days) values(55,'550002',now(),1235,6);
Query OK, 1 row affected, 1 warning (0.01 sec)
 
mysql>

 

去第一个旧实例上192.168.121.61，查询不到新记录：

 [root@oracle_standby logs]# mysql -uroot -p -h192.168.121.61 -P3306 -e "select * from db5.travelrecord where id=45; select * from db6.travelrecord where id=55; "

Enter password:
[root@oracle_standby logs]#

 

 

去第二个新实例192.168.121.12上，可以查到新记录：

 [root@oracle_standby logs]# mysql -uroot -p -h192.168.121.12 -P3307 -e "select * from db5.travelrecord where id=45; select * from db6.travelrecord where id=55; "

Enter password:
+----+---------+------------+------+------+
| id | user_id | traveldate | fee  | days |
+----+---------+------------+------+------+
| 45 | 450002  | 2016-03-27 | 1235 |    6 |
+----+---------+------------+------+------+
+----+---------+------------+------+------+
| id | user_id | traveldate | fee  | days |
+----+---------+------------+------+------+
| 55 | 550002  | 2016-03-27 | 1235 |    6 |
+----+---------+------------+------+------+
[root@oracle_standby logs]#

 

 

10，去原来的实例上删除分片db5、db6

 [root@oracle_standby logs]# mysql -uroot -p -h192.168.121.61 -P3306 -e "drop database db5; drop database db6;"                                                                                          

Enter password:
[root@oracle_standby logs]#

 

 

至此，mycat分片迁移测试完毕。

 

这种操作的缺陷是，with read lock;的时候会锁表，短暂影响业务的正常使用。

 

解决思路是：如果想不锁表不影响业务的话，就不做with read lock但是切换后手工分析旧实例中的binlog，去找出db5分片db6分片的dml、ddl操作，然后重新在新的实例中去手工恢复下。

 

mysql分片迁移_MYCAT实战之分片迁移
weixin_30404433的博客
01-25 291
实践扩容1.要求:travelrecord 表定义为10个分片,尝试将10个分片中的 2 个分片转移到第二台MySQL上,并完成记录要求,最快的数据迁移做法,中断业务时间最短2.针对分片以及迁移方式mycat中分片可以理解为dbn而dbn可以是单独datahost中的某个database,也可以是一个datahost上的mysql实例中多个database.迁移方式:1、如果dbn是对应mysql...
MyCAT数据库分片（一）
qq_36335126的博客
01-15 1858
1. MyCAT介绍 1.1. 什么是MyCAT？ 简单的说，MyCAT就是： •一个彻底开源的，面向企业应用开发的“大数据库集群” •支持事务、ACID、可以替代Mysql的加强版数据库 •一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群 •一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server •结合传统数据库和新型分布式数据仓库的新一代企业...
MYCAT数据扩容+数据迁移
08-03
MYCAT数据扩容+数据迁移。。。。。。。。。。。。。。。
mycat 数据迁移测试
weixin_33755649的博客
03-27 141
mycat 数据迁移测试mycat 数据迁移测试使用mysqldump进行数据迁移的测试数据量2000万1.导出 -c 参数必不可少，否则无法导入分片表 mysqldump-udata_dev-p-h127.0.0.1-P3307-c--skip-add-locksdata_devdata_dev>data_dev.sqlzipdata_dev.sq...
mycat 分片中快速数据迁移思考
xiaomin1991222的专栏
07-31 227
操作实践背景：      travelrecord表定义为10个分片，尝试将10个分片中的2个分片转移到第二台MySQL上，并完成记录，   要求最快的数据迁移做法，中断业务时间最短     思路一利用mysqldump： 在这里我们只针对mysql innodb engine,而且配置bin-log的数据库进行分析。因为是将10个分片中的两个分片进行迁移，其实就是数据库的迁移过程，...
MyCat分库分表后的数据迁移解决方案
【折翼天使不孤单】的博客
12-31 1672
前面有几篇文章介绍到了MyCat怎么实现分库分表功能。在将单库中单表分库分表成功后，又要面临一个将老表中数据迁移到分表之后的表中，并且还要遵循MyCat中的分表规则。又是一个比较棘手的问题。小编最初的时候是通过最笨的办法，通过代码实现。这种方式实现起来比较复杂，特别是在分库的情况下，就需要连接多个数据源。并且效率也比较低，开发、测试、预生产和生产这么多环境，实现起来更是会遇到不可预料的问题。MyC...
Mycat分片策略详解：枚举、哈希与一致性Hash
【资源摘要信息】: "mycat分片规则和算法详细文档涵盖了多种数据分片策略，包括枚举法、固定分片哈希算法、范围约定、求模法、日期列分区法、通配取模、ASCII码求模通配、编程指定、字符串拆分哈希解析以及一致性...
Mycat分库分表文档及demo.rar
12-02
- 数据迁移：如何将现有数据平滑地迁移到分库后的架构中，最小化业务中断。 **3. Mycat扩展应用** `3.Mycat扩展应用.pdf`可能涵盖以下高级话题： - 数据库读写分离：Mycat可以自动实现读写分离，提升读取性能。 -...
Mycat-Server 1.5：助力数据库平滑迁移到云架构
Mycat采用了分层架构，分为服务层、逻辑SQL解析层、逻辑数据分片层、数据访问层和物理数据库层。每一层都承担着不同的功能，共同实现复杂的数据库中间件功能。 - **分库分表策略** Mycat支持多种分库分表策略，如...
mysql的分库分表（Mycat方案）
最新发布
11-19
Mycat是一款开源的分布式数据库中间件，它支持MySQL协议，能够实现数据的自动分片、读写分离、分布式事务等功能，为大型Web应用提供高性能的数据存储解决方案。 1. **Mycat安装** - 下载：Mycat可以从其GitHub仓库...
mysql数据迁移到mycat_Mysql系列九：使用zookeeper管理远程Mycat配置文件、Mycat监控、Mycat数据迁移（扩容）...
weixin_26933735的博客
02-01 401
一、使用zookeeper管理远程Mycat配置文件环境准备：虚拟机192.168.152.130：虚拟机192.168.152.128：本机：搭建好zookeeper的客户端工具ZooInspector ,具体参考文章Zookeeper数据查看工具ZooInspector简介1.启动ZK./zkServer.sh start 2. 修改/usr/local/mycat/conf/myid.pr...
Mycat分库分表迁移笔记(不做解释)
u013845177的博客
11-03 283
纯笔记， 不翻译，请绕道。。。 官网：http://www.mycat.org.cn/ 环境：linux、java8 安装： 一、下载 地址：http://dl.mycat.org.cn/1.6.7.6/Mycat-server-1.6.7.6-release-20201102172919-unix.tar.gz 二、解压，位置：/usr/local/Mycat 三、授权 1、执行：vi /etc/profile 2、结束加入：MYCAT_HOME=/usr/local/Mycat
Mycat实战之数据迁移(oracle -- mysql)
weixin_30325071的博客
12-21 218
1、案例场景： Mycat 后面接一个 Oracle 实例与一个 MySQL 实例，假设用户表，订单表，转账记录表， Oracle 字符集为 GBK 的，MySQL 字符集则要求 UTF8的 完成用户表与订单表到 MySQL 的迁移过程，要求导数据是通过命令行连接 Mycat来完成的 同时操作如下过程： 1. 在Mycat 里查询转账记录表，查询 OK 2. 在Mycat 里查询用户表，查询 OK...
MyCat数据迁移与扩容
Coding Farmer的博客
01-08 3753
工具目前从 mycat1.6 开始支持。 一、准备工作 1、mycat 所在环境安装 mysql 客户端程序 2、mycat 的 lib 目录下添加 mysql 的 jdbc 驱动包（mycat安装包中自带了） 3、对扩容缩容的表所有节点数据进行备份，以便迁移失败后的数据恢复 二、扩容缩容步骤  1、复制 schema.xml、rule.xml 并重命名为 newSchema.xml、newRul...
分布式 | 实战：将业务从 MyCAT 平滑迁移到 dble
ActionTech的博客
07-25 458
客户环境近期出现了几次问题，经过讨论后决定进行架构变更，要将mycat迁移到dble。要求是最小变动。
mysql 分片 数据迁移_简述MySQL分片中快速数据迁移_MySQL
weixin_30877775的博客
01-21 206
推荐阅读：MySQL 数据库跨操作系统的最快迁移方法mysql 备份与迁移 数据同步方法操作实践背景：travelrecord表定义为10个分片，尝试将10个分片中的2个分片转移到第二台MySQL上，并完成记录， 要求最快的数据迁移做法，中断业务时间最短思路一利用mysqldump：在这里我们只针对mysql innodb engine,而且配置bin-log的数据库进行分析。因为是将10个分片中...
记一次mycat日活量数亿级别分库分表方案及数据迁移
qq_41700030的博客
01-27 590
先说一下业务场景。项目是负责公司短信下发的，目前每日下发量大概在千万级别，采取了每天一张表的分表方案，但为了后续新的发送方接入，需要支持每日近亿级别的发送量，此时每天一张发送日志表的分表方案明显已不再支持。经过激烈讨论，我们引入了mycat的解决方案。 考虑到发送量的大小，我们对发送日志表进行了分库分区操作，保证每一个库和区能够均匀承担数据压力，我们决定对两个字段进行取模。即手机号对200取模决定在哪一个库（分了两百个库，每天一个分区），再传入日期（比如20200127），决定数据落在哪一个分区。 myca
Mycat 1.6日志分类-离线数据库迁移日志
junwen的博客
11-19 373
old config for migrate read fail!please check schema.xml or rule.xml ${异常} 错误:加载数据库迁移配置失败 解决:检测离线数据迁移的文件是否存在以及格式是否正确 tablesFile.properties read fail! 错误:tablesFile.properties 加载失败 解决:检查migrat...
mycat 平台上实现将数据从oracle迁移到mysql
热门推荐
csdn's blog
07-17 1万+
1，案例场景： Mycat 后面接一个Oracle实例与一个MySQL实例，假设用户表，订单表，转账记录表，Oracle字符集为GBK的，MySQL字符集则要求UTF8的 完成用户表与订单表到MySQL的迁移过程，要求导数据是通过命令行连接Mycat来完成的 同时操作如下过程： 在Mycat里查询转账记录表，查询OK 在Mycat里查询用户表，查询OK 2，准备oracle...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值