ShardingSphere-Proyx数据迁移实战

已于 2024-11-24 15:29:45 修改
阅读量798 收藏 15
点赞数 8
CC 4.0 BY-SA版权
分类专栏： ShardingSphere-Proxy系列 文章标签： 容器 数据库 数据库架构 分布式 docker 运维开发
于 2024-11-24 15:28:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangye135/article/details/144004878

前提说明

优先明确一点:数据迁移必须使用DistSQL操作。

ShardingSphere提供的数据迁移方案为：使用全新的数据库集群作为迁移目标。因此，需要冗余的服务器资源支持，并且在数据迁移过程中，所有的数据都会发生移动。

实战内容：将192.168.49.110:3306/user中的t_user表，迁移到192.168.49.119:3306/user中并且进行数据分片。将源端t_user表的数据以user_id为分片键，分布在10张表中。

数据迁移阶段划分

  1. 准备阶段；

  2. 存量数据迁移阶段；

  3. 增量数据同步阶段，提供数据一致性校验；

  4. 流量切换阶段；

从存量迁移到增量迁移阶段，Proxy组件会自动帮助我们完成过渡。在增量数据迁移阶段，Proxy会不断读取源端写入的最新数据，保持目标端数据和源端数据的基本一致。而数据想要从基本一致过渡到完全一致，需要源端将服务暂时改为只读，之后proxy继续读取源端信息，进而使数据完全同步(有内置的校验规则)。之后，完成线上流量的切换。

1.迁移前准备

  1. 校验MySQL账号的权限

    1. 源端账号是否开启binlog、是否拥有replication权限和查询权限。

    2. 目标端账号是否拥有赋予增删改查、创建索引权限。【不能是ALL PRIVILEGE，要给具体的权限，不然会报错】

  2. 以集群模式启动proxy，并配置Proxy的分片规则

a. 账号权限检查

-- 检查源端是否开启binlog，以及源端账户是否具有replication和Select权限
show variables like 'log_bin'; -- 需要是ON
show variables like 'binlog_format'; -- 需要是ROW
show variables like 'binlog_row_image'; -- 需要是FULL
SHOW GRANTS FOR 'chatbot';
-- 缺少那个权限执行下面那一条命令
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON `chatbot`.* TO 'chatbot'@'%';
GRANT SELECT ON `chatbot`.* TO 'chatbot'@'%';

-- 检查目标端账户的权限，需要DML和索引权限
SHOW GRANTS FOR 'chatbot_shard'@'%';
GRANT CREATE, DROP, INDEX, SELECT, INSERT, UPDATE, DELETE ON 'chatbot_shard'.* TO 'chatbot_shard'@'%';

 b. Proxy 配置

启动Proxy

采用zk集群模式进行数据迁移和分库分表。

对应的Dockerfile、启动命令和global.yaml配置如下：

想要详细了解可以看以下文章：

1. 定制满足业务需求ShardingSphere-Proxy镜像

2. 解决Docker环境变量的配置的通用方法

# Dockerfile文件内容
FROM apache/shardingsphere-proxy:5.5.1
RUN mkdir -p /opt/shardingsphere-proxy/ext-lib/
RUN wget -P /opt/shardingsphere-proxy/ext-lib/ 
https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.11/mysql-connector-java-8.0.11.jar


#制作镜像
docker build -t sharding:1.0 .


# Docker启动命令
docker run -d \
  --name sharding1 \
  -p 3309:3307 \
  -e JAVA_MEM_COMMON_OPTS='-Xms256m -Xmx400m -Xss1m' \
  -v /root/sharding/conf/:/opt/shardingsphere-proxy/conf \
  sharding:1.0


# global.yaml文件内容
mode:
  type: Cluster
  repository:
    type: ZooKeeper
    props:
      namespace: governance_db
      server-lists: zk0:2181,zk1:2181,zk2:2181
      retryIntervalMilliseconds: 500
      timeToLiveSeconds: 60
      maxRetries: 3
      operationTimeoutMilliseconds: 500
authority:
  users:
    - user: root@%
      password: root
  privilege:
    type: ALL_PERMITTED
props:
  sql-show: true
数据分片规则配置

连接proxy，进行分片规则的配置。这时候，我们只需要关注目标表的分片规则就可以了，不需要关注旧表的情况。

-- 在proxy中执行
create database sharding_user;
use chatbot_shard;
REGISTER STORAGE UNIT server_target (
    URL="jdbc:mysql://192.168.49.110:3306/user?useUnicode=true&characterEncoding=utf8",
    USER="root",
    PASSWORD="123456",
    PROPERTIES("minPoolSize"="1","maximumPoolSize"=20,"idleTimeout"="6000")
);
CREATE SHARDING TABLE t_user(
STORAGE_UNITS(server_target),
SHARDING_COLUMN=user_id,
TYPE(NAME="mod",PROPERTIES("sharding-count"="10"))
);

-- 比对，我们的配置是否和预期一致。
EXPORT DATABASE CONFIGURATION;

-- 执行对应的建表语句
CREATE TABLE `user`(
    id bigint primary key auto_increment,
    user_id bigint not null,
    name varchar(10),
);

-- 自此，我们的分片规则已经配置完成，并且sharding也帮助我们在节点中创建了对应的表。

2. 数据迁移

--1.按需更改迁移配置，主要是从旧表中读取线程的数量和向新表中写入线程的数量。
-- 不要因为数据迁移对线上业务造成过大的读取压力。
SHOW MIGRATION RULE;
ALTER MIGRATION RULE (
READ(
  WORKER_THREAD=5,
  BATCH_SIZE=500,
  SHARDING_SIZE=10000,
  RATE_LIMITER (TYPE(NAME='QPS',PROPERTIES('qps'='200')))
),
WRITE(
  WORKER_THREAD=5,
  BATCH_SIZE=500,
  RATE_LIMITER (TYPE(NAME='TPS',PROPERTIES('tps'='200')))
),
STREAM_CHANNEL (TYPE(NAME='MEMORY',PROPERTIES('block-queue-size'='200')))
);

--2.添加迁移的数据源【源端】
REGISTER MIGRATION SOURCE STORAGE UNIT origin (
    URL="jdbc:mysql://192.168.49.110:3306/user?useUnicode=true&characterEncoding=utf8",
    USER="wang",
    PASSWORD="123456",
    PROPERTIES("minPoolSize"="1","maxPoolSize"="20","idleTimeout"="60000")
);

--3.执行迁移命令，可以并发
MIGRATE TABLE origin.t_user INTO t_user;

--4.查看迁移进度
SHOW MIGRATION LIST;
SHOW MIGRATION STATUS 'j0102p00002333dcb3d9db141cef14bed6fbf1ab54';

-- SHOW MIGRATION LIST重要数据解读
-- 迁移作业的状态有三种：准备、存量迁移、增量迁移，只有在增量迁移阶段，才能够使用校验算法。
id             |tables              |job_item_count |active  |create_time         |stop_time|
------------------------------------------+----------------------+--------------+------+---------
当前迁移任务的id |源端.源表             |迁移job的分片数  |是否活跃 |迁移任务开始时间       |迁移任务停止时间
j01021212324   |origin.conversation |1              |true    |2024-11-19 03:20:21 |         

-- SHOW MIGRATION STATUS 重要数据解读
item|data_source|tables         |status                  |active |processed_records_count|inventory_finished_percentage|incremental_idle_seconds|error_message|
----+-----------+---------------+------------------------+------+-----------------------+-----------------------------+------------------------+-------------+
编号 |数据源      |源端.源表       |迁移作业状态              |是否活跃 |处理数据行数             |迁移作业完成度                 |增量闲置时间              | 错误信息提示  |
0   |origin     |origin.question|EXECUTE_INCREMENTAL_TASK|true    |37450                  |100                         |2                       |             |


--5.验证迁移前后数据的一致性
--先执行算法，再查看进度。MySQL支持的校验算法有CRC32_MATCH||DATA_MATCH
--CRC32_MATCH：循环冗余校验，通过校验码来判断是否存在数据不一致，效率快，但是不支持断点续传，且只支持MySQL
--DATA_MATCH：逐行挨个比对数据，效率稍慢但是支持断点续传和异构数据库,如果有加密数据，需要使用该算法。
CHECK MIGRATION j0102p000041c4912117c302e9facd92f9a74a478c BY TYPE (NAME='DATA_MATCH');
SHOW MIGRATION CHECK STATUS 'j0102p00000211a23d148fe8cc6c42ce4a445ad5b3';

--SHOW MIGRATION CHECK STATUS重要信息解读
tables         |result                               |check_failed_tables|active|inventory_finished_percentage|inventory_remaining_seconds|incremental_idle_seconds|check_begin_time       |check_end_time         |duration_seconds|algorithm_type|algorithm_props|error_message|
---------------+------+-------------------+------+-----------------------------+---------------------------+------------------------+-----------------------+-----------------------+----------------+--------------+---------------+-------------+
校验表          |校验结果，true通过，false失败，空白运行中 |校验失败的表         |false |进度                          |预估完成时间                 |                        |开始时间                |结束时间                 |1               |算法类型       |               |             |
origin.question|true                                 |                   |false |100                          |0                          |                        |2024-11-19 04:04:16.911|2024-11-19 04:04:18.520|1               |DATA_MATCH    |               |             |

--当准备流量切换的时候，采用 COUNT(*) 进行数据校验，防止校验时间过长，影响线上业务。
--使用 COUNT(*) 进行校验，可能造成一定的数据不一致，但是比较快，对线上影响下。
SELECT count(*) FROM user.t_user; --源端执行
SELECT count(*) FROM user.t_user; --proxy中执行

--5.提交迁移作业
COMMIT MIGRATION 'j0102p00000211a23d148fe8cc6c42ce4a445ad5b3';
SROLLBACK MIGRATION 'j0102p00000211a23d148fe8cc6c42ce4a445ad5b3';
数据迁移过程中的注意点

  • 如果我们迁移的目标表中已经存在数据，需要把数据清空，再进行数据迁移。

  • 迁移任务回滚不仅仅会把目标端迁移的数据删除，而且还会将proxy中的分片规则以及proxy创建在物理节点的真实表删除。 

【k8s】查看coredns和kubelet 、kubeproxy日志
突围
08-24 1857
coredns添加日志 [root@k2c4g3m-master0 ~]# kubectl -n kube-system edit configmap coredns [root@k2c4g3m-master0 ~]# kubectl -n kube-system edit configmap coredns configmap/coredns edited [root@k2c4g3m-master0 ~]# kubelet服务有 systemctl status kubelet .
Charles之proyx—03
weixin_46012841的博客
08-05 343
Charles之Proxy使用说明 以下部分都可以在Charles-proxy中找到 Stop recording功能 Stop recording功能讲解 停止录制，也就是说，charles界面是上不在展示抓取信息 Stop recording使用方法 我们直接点击Stop recording按钮即可，也可以直接点击页面按钮（如图所示） 开关录制功能 start throttling功能 start throttling功能讲解 开启慢速网络功能，也就是我们所说的弱网模式，通过设置网络上传
Apache ShardingSphere Proxy 数据迁移部署指南
gitblog_00285的博客
06-02 417
Apache ShardingSphere Proxy 数据迁移部署指南 背景与概述 在数据库架构演进过程中，将单机数据库平滑迁移到分片集群是一个常见需求。Apache ShardingSphere Proxy 提供了一套完整的数据库迁移解决方案，能够帮助开发者和运维人员安全、高效地完成数据迁移工作。 环境准备 硬件要求 建议使用至少 4 核 CPU 和 8GB 内存的服务器 磁盘空间应至少是待...
ShardingSphere 异构迁移最佳实践：将3.5亿量级的顾客系统 RTO 减少60倍
weixin_45566993的博客
06-14 289
当当顾客系统主要负责账户的注册、登录、隐私数据维护等功能，历史技术栈为 PHP+SQL Server，是标准的集中式架构，如下图。 重构项目启动前，顾客系统的数个业务模块存在多个棘手的业务问题和技术挑战，如逻辑分散、吞吐量低及运维成本高等问题。为改善顾客的购物体验，当当技术团队决定对业务逻辑和底层数据架构进行优化，实现顾客系统多场景下的可用性、扩展性及综合提升等多个目标。在重构过程也实现了众多技术创新，如跨数据源双写、读写分离、智能网关及灰度发布等技术。从需求设计、分库分表规划、逻辑优化、压测再到完全上线等
Apache ShardingSphere 数据迁移实战指南
gitblog_01000的博客
06-02 406
Apache ShardingSphere 数据迁移实战指南 概述 数据迁移是数据库运维中的常见需求，Apache ShardingSphere 提供了强大的数据迁移功能，支持多种数据库之间的数据迁移操作。本文将详细介绍如何使用 ShardingSphere Proxy 进行 MySQL、PostgreSQL 和 openGauss 数据库的数据迁移。 MySQL 数据迁移 环境准备 版本要求 ...
Shardingsphere-Proxy 5.5.0数据迁移
m0_63164811的博客
06-24 1869
Shardingsphere-Proxy 5.5.0数据迁移
ShardingSphere-Proxy 单库分表迁移数据 (迁移数据遇到的坑)
qq_37014611的博客
04-23 1321
通过ShardingSphere-Proxy 进入你是可以看到 逻辑表table 逻辑表背后对应真实表table-01,table-02,table-03,table-04（这个怎么配置官方文档中是有 的 可以看一下 单库分表的解决方案我这里就不详细的说了）因为我这个地方迁移数据的时候是同库 也就是 A库table 迁移到A库table-01,table-02,table-03,table-04。也就是 table 对应---> table-01,table-02,table-03,table-04。
ShardingSphere 数据迁移功能 & 实战
ShardingSphere官微
06-29 1905
???? 随着业务持续发展，数据量和并发量达到一定程度，传统数据库可能面临性能、可扩展性、可用性等问题。Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。本篇就为大家讲解 ShardingSphere 的数据迁移功能，并通过实战讲解搭建分布式数据库的整个流程。数据迁移功能介绍数据迁移内...
使用ShardingSphere时对老数据的迁移工作
易之阴阳，量子纠缠，道之一体，缘起性空
04-12 770
要实现老数据的分表迁移，需要结合外部数据迁移工具或编写自定义脚本来完成。在完成数据迁移后，ShardingSphere 能够确保新写入的数据按照分片策略自动分发到正确的分表中。数据迁移是一项相对独立的任务，通常需要结合专门的数据迁移工具或者脚本，按照分表规则手动设计和执行迁移过程。例如，通过双写（同时写入原表和分表）的方式逐步将新产生的数据写入分表，并在后台异步迁移老数据。： 使用第三方数据迁移工具（如数据库自带的导入导出工具、ETL工具、自定义脚本等）按照分表规则将老数据从原表迁移到相应的分表中。
K8S部署--kubeadm安装
代号ZBK
03-03 589
K8S部署–kubeadm安装 kubernetes 官方提供的三种部署方式， minikube minikube是一个单点的Kubernetes，仅用于尝试Kubernetes或日常开发的用户使用。 部署地址：https://kubernetes.io/docs/setup/minikube/ kubeadm Kubeadm也是一个工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。 部署地址：https://kubernetes.io/docs/r
java----js常用的api
欢迎来到我的技术博客！这里是一个专注于软件开发的地方，我将分享关于 Java、Python、C++ 和易语言等多种编程语言的教程、技巧、最佳实践以及开发经验。
02-20 508
【代码】java----js常用的api。
shardingsphere-sharding-proxy-4.0.0-RC1
05-10
shardingsphere-sharding-proxy，代理数据库，提供分库分表，读写分离功能，对mysql客户端与DBA友好
Docker(六)--docker网络--单机与跨主机(macvlan)容器通信
uikotygiug的博客
01-12 493
1.单机容器通信 1.1 DNS 容器之间除了使用ip通信外，还可以使用容器名称通信。 docker 1.10开始，内嵌了一个DNS server。 dns解析功能必须在自定义网络中使用。 启动容器时使用 --name 参数指定容器名称。 1.2 Joined容器(类似于host模式) - Joined容器一种较为特别的网络模式。 - 在容器创建时使用--network=container:vm1指定。（vm1指定的是运行的容器名） - 处于这个模式下的 Docker 容器...
直播预告｜Apache ShardingSphere 数据迁移功能 & 实战
ShardingSphere官微
10-12 352
先前，ShardingSphere 社区面向所有开发者规划了十期轻量级的【Tech-Meetup】栏目，围绕 Database Plus、云部署、重点功能实践、未来发展方向等，向用户全方位展示了社区生态、产品合作以及项目发展规划。本月开始，栏目将重启，继续为大家展示 ShardingSphere 的项目发展。10月 15 日本周六下午 14:00，首期【Apache ShardingSphere...
ShardingSphere数据迁移文档介绍
学亮编程手记
11-19 514
在准备阶段，数据迁移模块会进行数据源连通性及权限的校验，同时进行存量数据的统计、日志位点的记录，最后根据数据量和用户设置的并行度，对任务进行分片。当增量数据基本同步完成时（由于业务系统未停止，增量数据是不断的），则进入流量切换阶段。在此阶段，可能存在一定时间的业务只读窗口期，通过设置数据库只读、控制源头写流量等方式，让源端数据节点中的数据短暂静态，确保增量同步完全完成。执行在准备阶段拆分好的存量数据迁移任务，存量迁移阶段采用 JDBC 查询的方式，直接从源端读取数据，基于配置的分片等规则写入到目标端。
ShardingProxy使用自定义策略，数据迁移方案
qq_44027353的博客
08-05 1153
而为了保持在写入新数据库集群时，与热数据保持相同的分片逻辑，ShardingProxy与ShardingJDBC数据写入库之间，可以通过ShardingSphere的管理中心来保持规则同步。配置完数据双写后，就需要针对新数据库集群配置，配置一个ShardingJDBC数据写入库，主要完整针对新数据库集群的数据分片。这个ShardingJDBC数据写入库可以使用ShardingSphere的JDBC来创建，然后作为一个真实库，配置到之前的数据双写库当中，这样就可以完成针对新数据库集群的数据分片写入。
ShardingSphere 5.3.2 发布 | Driver 接入配置中心，数据迁移/加密功能增强
ShardingSphere官微
04-03 3030
Apache ShardingSphere 本周迎来了 5.3.2 版本的发布，该版本历时两个月，共合并了来自全球的团队和个人累计 797个 PR，新版本在功能、性能、测试、文档、示例等方面都进行了大量的优化。本次更新包含了不少能够提升用户体验、解决用户痛点的内容，本文与大家一起快速预览：ShardingSphere Driver 支持 Apollo数据迁移支持迁移任意索引结构的表（包括无索引的表...
国际计费系统基于Sharding-Proxy大数据迁移方案实践
京东科技开发者
08-09 891
本文介绍三部分：实现数据从老库，按照分片规则，迁移到分库中；保证数据平滑迁移，尽量停产时间最小；支持回滚，同步失败，支持回滚单库
修改/etc/nginx/nginx.conf
最新发布
07-23
修改 Nginx 主配置文件 `/etc/nginx/nginx.conf` 是调整其运行行为的重要操作，必须确保配置语法正确并正确加载配置。以下是具体操作说明： ### 修改 Nginx 配置文件 使用文本编辑器打开 `/etc/nginx/nginx.conf` 文件进行编辑，例如使用 `vim`： ```bash vim /etc/nginx/nginx.conf ``` 在编辑过程中，可以参考 Nginx 的模块指令，例如 `nginx -s reload` 用于在不重启服务的情况下重新加载配置文件，适用于配置变更后的生效操作[^1]。 在配置文件中，常见的配置项包括： - `worker_processes`：指定工作进程数，通常设置为 CPU 核心数； - `events` 块中的 `worker_connections`：控制每个进程的最大连接数； - `http` 块中包含的 `include` 指令，用于引入额外的配置文件； - `server` 块定义虚拟主机配置； - `location` 块用于匹配请求路径并定义处理逻辑。 ### 检查配置文件语法 在保存修改之前，务必使用以下命令检查配置文件是否存在语法错误： ```bash nginx -t ``` 该命令会输出测试结果，如果配置文件语法正确，将显示类似以下信息： ``` nginx: configuration file /etc/nginx/nginx.conf test is successful ``` 如果有语法错误，例如拼写错误、缺少分号或括号不匹配，命令会提示具体错误位置，例如： ``` nginx: [emerg] unknown directive "proyx_pass" in /etc/nginx/conf.d/app.conf:10 ``` 根据提示信息进行修正后，再次运行 `nginx -t` 确认配置无误。 ### 重新加载配置 确认配置文件无误后，使用以下命令重新加载 Nginx 服务，使新配置生效： ```bash nginx -s reload ``` 该操作不会中断当前连接，适用于生产环境中的配置更新。 ### 查看完整配置内容 若需查看最终生效的完整配置（包括通过 `include` 引入的文件），可以使用以下命令： ```bash nginx -T ``` 该命令会输出所有配置内容，有助于确认配置合并结果，避免因路径错误或配置覆盖导致问题[^2]。 ### 示例配置片段 以下是一个简化版的 `nginx.conf` 配置示例： ```nginx user nginx; worker_processes auto; error_log /var/log/nginx/error.log notice; pid /var/run/nginx.pid; events { worker_connections 1024; } http { include /etc/nginx/mime.types; default_type application/octet-stream; server { listen 80; server_name example.com; location / { root /usr/share/nginx/html; index index.html index.htm; } } } ``` ### 注意事项 - 在修改配置前，建议备份原始配置文件。 - 修改配置后，务必使用 `nginx -t` 进行验证。 - 使用 `nginx -s reload` 使配置生效，避免直接重启服务导致服务中断。 - 若配置涉及反向代理，可参考添加如下配置项以确保后端服务器能正确识别客户端信息： ```nginx proxy_set_header Host $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header Client-IP $remote_addr; proxy_set_header X-Forward-For $proxy_add_x_forwarded_for; ``` 上述配置可确保反向代理场景下后端服务器能正确识别请求来源，避免因请求头错误导致访问失败或安全策略误判[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值