Apache ShardingSphere 数据迁移实战指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01000/article/details/148374575

Apache ShardingSphere 数据迁移实战指南

shardingsphere Distributed SQL transaction & query engine for data sharding, scaling, encryption, and more - on any database. 项目地址: https://gitcode.com/gh_mirrors/sh/shardingsphere

概述

数据迁移是数据库运维中的常见需求，Apache ShardingSphere 提供了强大的数据迁移功能，支持多种数据库之间的数据迁移操作。本文将详细介绍如何使用 ShardingSphere Proxy 进行 MySQL、PostgreSQL 和 openGauss 数据库的数据迁移。

MySQL 数据迁移

环境准备

版本要求

支持 MySQL 5.1.15 至 8.0.x 版本

权限配置

开启 binlog

修改 MySQL 配置文件 my.cnf：

[mysqld]
server-id=1
log-bin=mysql-bin
binlog-format=row
binlog-row-image=full
max_connections=600

验证 binlog 是否开启：

show variables like '%log_bin%';
show variables like '%binlog%';

授予复制权限
- 源端账号需要 REPLICATION SLAVE 和 REPLICATION CLIENT 权限
- 验证权限：
```
SHOW GRANTS FOR 'migration_user';
```
授予数据操作权限
- 源端账号需要 SELECT 权限
- 目标端账号需要 CREATE, DROP, INDEX, SELECT, INSERT, UPDATE, DELETE 等权限

完整迁移流程

准备工作

准备源数据库和数据：

CREATE DATABASE migration_ds_0 DEFAULT CHARSET utf8;
USE migration_ds_0;
CREATE TABLE t_order (order_id INT PRIMARY KEY, user_id INT, status VARCHAR(45));
INSERT INTO t_order VALUES (1,2,'ok'),(2,4,'ok'),(3,6,'ok'),(4,1,'ok'),(5,3,'ok'),(6,5,'ok');

准备目标数据库：

CREATE DATABASE migration_ds_10 DEFAULT CHARSET utf8;
CREATE DATABASE migration_ds_11 DEFAULT CHARSET utf8;
CREATE DATABASE migration_ds_12 DEFAULT CHARSET utf8;

迁移步骤

在 ShardingSphere Proxy 中配置逻辑库和分片规则：

CREATE DATABASE sharding_db;
USE sharding_db;

REGISTER STORAGE UNIT ds_2 (
    URL="jdbc:mysql://127.0.0.1:3306/migration_ds_10",
    USER="root", PASSWORD="root"
), ds_3 (
    URL="jdbc:mysql://127.0.0.1:3306/migration_ds_11",
    USER="root", PASSWORD="root"
), ds_4 (
    URL="jdbc:mysql://127.0.0.1:3306/migration_ds_12",
    USER="root", PASSWORD="root"
);

CREATE SHARDING TABLE RULE t_order(
    STORAGE_UNITS(ds_2,ds_3,ds_4),
    SHARDING_COLUMN=order_id,
    TYPE(NAME="hash_mod",PROPERTIES("sharding-count"="6")),
    KEY_GENERATE_STRATEGY(COLUMN=order_id,TYPE(NAME="snowflake"))
);

注册源存储单元：

REGISTER MIGRATION SOURCE STORAGE UNIT ds_0 (
    URL="jdbc:mysql://127.0.0.1:3306/migration_ds_0",
    USER="root", PASSWORD="root"
);

启动迁移：

MIGRATE TABLE ds_0.t_order INTO t_order;

监控迁移状态：

SHOW MIGRATION LIST;
SHOW MIGRATION STATUS '作业ID';

数据一致性校验：

CHECK MIGRATION '作业ID' BY TYPE (NAME='DATA_MATCH');
SHOW MIGRATION CHECK STATUS '作业ID';

完成迁移：
```
COMMIT MIGRATION '作业ID';
```

PostgreSQL 数据迁移

环境准备

版本要求

支持 PostgreSQL 9.4 及以上版本

权限配置

开启逻辑解码

修改 postgresql.conf：

wal_level = logical
max_wal_senders = 10
max_replication_slots = 10

配置访问权限

修改 pg_hba.conf：

host replication repl_acct 0.0.0.0/0 md5

授予数据库权限
- 源端账号需要 CREATE, CONNECT 权限
- 对迁移的表需要 SELECT 权限

迁移流程

PostgreSQL 迁移流程与 MySQL 类似，主要区别在于连接配置和权限设置。迁移步骤包括：

准备源数据库和目标数据库
在 Proxy 中配置逻辑库和分片规则
注册源存储单元
启动迁移任务
监控迁移状态
执行数据校验
完成迁移

openGauss 数据迁移

环境准备

版本要求

支持 openGauss 2.0.1 至 3.0.0 版本

权限配置

调整 WAL 配置

修改 postgresql.conf：

wal_level = logical
max_wal_senders = 10
max_replication_slots = 10

配置复制权限

修改 pg_hba.conf：

host replication repl_acct 0.0.0.0/0 md5

授予数据库权限
- 特别注意：openGauss 不允许普通账户在 public schema 下操作
- 可能需要授予 ALL PRIVILEGES

迁移流程

openGauss 迁移流程与 PostgreSQL 基本一致，但需要注意权限方面的特殊要求。迁移步骤包括：

准备源数据（同构或异构）
准备目标数据库
在 Proxy 中配置逻辑库
注册存储单元和分片规则
启动迁移任务
监控和校验
完成迁移

总结

Apache ShardingSphere 提供了统一的数据迁移解决方案，支持多种数据库之间的数据迁移操作。通过本文的详细指南，用户可以轻松完成从 MySQL、PostgreSQL 或 openGauss 数据库到 ShardingSphere 环境的迁移工作。关键点包括：

确保源数据库正确配置了复制相关参数
为迁移账号授予足够的权限
按照步骤在 Proxy 中配置逻辑库和分片规则
监控迁移过程并执行数据校验
确认无误后完成迁移

通过 ShardingSphere 的数据迁移功能，用户可以方便地实现数据库的平滑迁移和分片扩展。

shardingsphere Distributed SQL transaction & query engine for data sharding, scaling, encryption, and more - on any database. 项目地址: https://gitcode.com/gh_mirrors/sh/shardingsphere

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考