使用canal+sharding-proxy搭建分库分表环境，平滑迁移数据

原创

于 2020-05-11 19:33:38 发布 · 2.2k 阅读

CC 4.0 BY-SA版权

本文介绍了如何结合canal deployer和adapter组件，以及sharding-proxy来搭建分库分表环境，并详细阐述了操作步骤，包括数据导出、分表脚本生成、数据导入以及各个组件的配置。通过此方法，可以平滑地迁移原有数据到新的分库分表结构中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

deployer组件负责解析binlog日志
adapter负责适配各种存储

实际使用过程中的例子：

使用canal+sharding-jdbc 进行分表, 并对之前的数据进行迁移

1. 操作步骤：

1. 使用mysqldump导出数据

mysqldump -t --databases test -uroot -pxxxxxxxxxx --skip-add-drop-table  --single-transaction --master-data=2 --tables goods>D:\goods.sql

-- 注：

-- 1.全表备份where条件可删除

-- 2.使用single-transaction master-data=2 防止数据库锁表

-- 3.导出后的日志中有相关的binlog开始文件和位置

查看goods.sql文件

-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000093', MASTER_LOG_POS=455856543;

2. 创建分库分表的sql，由于需要创建32张表这里使用脚本生成。*.groovy

// 必须先定义i，否则程序会报错

def i = 0

def sql="""

drop table if exists&n

最低0.47元/天解锁文章

200万优质内容无限畅学