数据库迁移系列】从MySQL到openGauss的数据库对象迁移实践

最新推荐文章于 2025-04-23 21:41:51 发布
原创 最新推荐文章于 2025-04-23 21:41:51 发布 · 544 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#adb

数据库迁移系列】从MySQL到openGauss的数据库对象迁移实践

原创 酷哥 openGauss 2022-11-07 18:03 发表于广东

9月30日新发布的openGauss 3.1.0版本 ，工具的全量迁移和增量迁移的性能不但有了全面提升，而且支持数据库对象视图、触发器、自定义函数、存储过程的迁移。

  • 工具链：MySQL全量迁移支持并行迁移，提升全量迁移性能

    通过支持表级并行迁移，提升MySQL全量迁移性能，基于sysbench测试模型，在Kunpeng-920 2p服务器上，10张表（单表容量三百万以上）使用10并发迁移，可达到大于300M/s的迁移性能。

  • 工具链：MySQL增量迁移支持十五级并行消费，提升增量迁移性能

    基于开源三方件mysql-binlog-connector-java解析mysql的binlog, 并根据mysql主备进行复制的原理，对可并行的事务在openGauss端采用多线程进行并行回放，以实现MySQL到openGauss的在线迁移。

    利用sysbench对MySQL压测，在10张表30个线程并发情况下，IUD混合场景下，在Kunpeng-920 2p服务器上测试整体增量迁移性能可达3w tps.

  • 工具链：支持基于默克尔树的数据校

    实现基于默克尔树的数据实时校验工具，支持MySQL数据迁移到openGauss时，源端与目的端数据全量和增量校验。

本篇就来分享一下使用chameleon工具进行从MySQL到openGauss的数据库对象迁移实践。

软件安装

  1. 由于我之前已经安装过3.0版本的工具了，需要先卸载一下。

[root@pekphisprb70593 chameleon]# pip3 uninstall chameleon
Uninstalling chameleon-3.0.0:
Would remove:
/usr/local/python3/bin/chameleon
/usr/local/python3/bin/chameleon.py
/usr/local/python3/lib/python3.6/site-packages/chameleon-3.0.0.dist-info/*
/usr/local/python3/lib/python3.6/site-packages/pg_chameleon/*
Proceed (y/n)? y
Successfully uninstalled chameleon-3.0.0
[root@pekphisprb70593 chameleon]# rm -rf chameleon-3.0.0-py3-none-any.whl

2.从官网https://opengauss.org/zh/supporttools.html 获取获取工具包：chameleon-3.1.0-py3-none-any.whl

图片

3.将新的3.1.0工具上传到openGauss数据库所在节点的chameleon文件夹下。

[root@pekphisprb70593 chameleon]# python3 -m venv venv
[root@pekphisprb70593 chameleon]# source venv/bin/activate
最低0.47元/天 解锁文章

200万优质内容无限畅学
openGauss学习笔记-313 openGauss 数据迁移-MySQL迁移-迁移MySQL数据库至openGauss-MySQL一键式迁移
超哥的博客
07-21 359
gs_rep_portal是一个用Java编写的，在linux系统上运行的，集成了全量迁移、增量迁移、反向迁移、数据校验的工具。gs_rep_portal支持以上工具的一键式安装上述工具，设定迁移任务，任务根据用户设定的执行计划顺序的调用相应工具完成每个迁移步骤，并能实时展示每个步骤的状态、进度、异常原因等。
DataKit工具 mysql数据迁移到openGauss
最新发布
weixin_50495215的博客
05-28 424
达梦数据库安装后自带数据迁移工具，支持mysql数据库迁移到达梦。而openGauss数据库安装后不会自带工具，需要手动安装DataKit迁移工具，支持数据迁移到gauss。至于工具的其他功能，自行搜索，不在此班门弄斧了。
MySQL到OpenGauss的数据迁移测试
2401_83143557的博客
03-21 766
前言本文将测试利用 chameleon 工具从 MySQL 迁移数据到 OpenGauss3.1.0。环境。
Mysql迁移OpenGauss
weixin_44739106的博客
03-10 6841
公司要做信创的迁移，本文简单描述了一下Mysql迁移到OpenGauss的大概流程步骤
openGauss数据库：起源、特性与对比分析
qq_59334230的博客
04-23 1112
openGauss数据库：起源、特性与对比分析
openGauss 数据迁移指南：MySQL迁移—MySQL语法兼容性评估工具
weixin_53596073的博客
06-29 2503
openGauss兼容性评估工具，支持从多个场景下获取sql语句进行兼容性评估，并输出评估报告。支持从mysql端采集sql语句，支持从mysql端采集以下几种sql类型：对象定义语句（DDL）。慢sql语句。此类sql通过查询mysql.slow_log表获得，需要用户开启慢sql记录至该表中。全量sql语句。此类sql通过查询mysql.general_log表获得，同样需要用户开启general log记录至该表中。支持从文件中获取sql语句，支持以下几种文件类型：sql文件。
迁移MySQL数据库至openGauss
Oliviahome的博客
03-21 340
对象、数据全量离线迁移；数据全量&增量校验；
系统国产化替代方案（三）Mysql数据迁移至OpenGauss
qq_41057525的博客
09-04 3563
原因是我还没试过这个版本行不行，需要重新安装新版本OpenGauss。创建datakit数据库和迁移目标数据库testdb。访问https://ip:9494。吐槽一句：都是泪，踩了一遍又一遍的坑>~
mysql迁移到openGauss数据库笔记
qq_48433464的博客
12-01 1520
mysql迁移到opengauss笔记
数据库迁移：mysql修改为opengauss
猴子的博客
01-30 1527
原有的项目中使用mysql数据库保存应用数据，后面由于国产化要求，需要替换mysql为opengauss。按照如下配置，仅需修改配置文件，就可以在mysql和opengauss之间切换。代码结构如下，文件中mapper和gaussmapper分别为mysql和opengauss使用的mapper.xml文件。mysql函数pg不支持，如str_to_date,ifnull等，因此迁移数据库，需要修改之前的mapper文件。2、配置数据源，在原有mysql的基础上增加opengauss数据源配置。
openGauss 数据迁移指南：MySQL迁移—全量迁移
weixin_53596073的博客
06-29 1621
全量迁移gs_mysync是一个用Python3编写的将MySQL迁移至openGauss的复制工具，支持初始全量数据的复制功能。gs_mysync通过一次初始化配置，使用只读模式，将MySQL的数据全量拉取到openGauss。支持在同一快照下，表间数据并行迁移。全量迁移支持的功能：支持表及表数据、视图、触发器、自定义函数、存储过程的全量迁移。
openGauss 数据迁移指南：MySQL迁移—数据校验
weixin_53596073的博客
06-29 1138
数据校验工具 gs_datacheck，分为check服务和extract服务。check服务用于数据校验，extract服务用于数据抽取和规整。全量校验：在全量数据迁移完成后，由extract服务对源端和目标端数据通过JDBC方式进行数据抽取然后规整计算，并将计算后的中间数据推送到kafka中。最后由check服务提取kafka中的中间数据，构建默克尔树，通过默克尔树比对实现表数据校验且输出校验结果。增量校验：由debezium服务侦听源端数据库的增量数据，到指定topic。
【数据库】Mysql数据迁移到Opengauss
大壮
01-14 1391
openGauss是一款开源的关系型数据库管理系统，它具有多核高性能、全链路安全性、智能运维等企业级特性。openGauss内核早期源自开源数据库PostgreSQL，融合了华为在数据库领域多年的内核经验，在架构、事务、存储引擎、优化器及ARM架构上进行了适配与优化。作为一个开源数据库，期望与广泛的开发者共同构建一个多元化技术的开源数据库社区。openGauss架构高性能openGauss突破了多核CPU的瓶颈，实现两路鲲鹏128核150万tpmC，内存优化表（MOT）引擎达350万tpmC。
Mysql迁移数据到openGauss
qq_42692161的博客
05-30 444
下载源码，官方地址：https://github.com/dimitri/pgloader。
迁移mysql数据库到opengauss
FinelyYang的专栏
02-03 1764
openGauss侧使用的用户名密码分别是 gaussdb和 gaussdb@1qazx。openGauss服务器的IP和port分别是192.168.132.153和5432，目标数据库是db_smis，同时会在db_smis下创建schema：db_smis，迁移的表都将位于该schema下。迁移数据时，MySQL侧使用的用户名密码分别是 usr_replica 和 re@1qazx。MySQL服务器的IP和port分别是192.168.132.153和3306，待迁移的数据库是db_smis。
opengauss 上mysql_fdw的编译、安装和使用
howard_shooter的博客
04-28 1037
然后在build_dir/libmariadb目录下生成了libmariadb.so，将它复制到opengauss/lib目录下，上面的操作，在每个节点上都要这么作。其中libmariadb.so可以在复制到安装包里，安装分发时就有了。
迁移MySQL到openGauss，DataKit嘎嘎猛~
weixin_53596073的博客
02-07 1266
对于在线模式的迁移任务，任务启动后，会首先进入全量迁移阶段，将MySQL端预置的数据迁移至目标库，全量迁移结束后会进入全量校验阶段，会输出每个表的校验结果；各插件围绕DataKit的资源中心进行扩展，完成数据库的运维，监控，迁移，开发，建模等复杂的操作。在datakit平台--资源中心--服务器管理中添加对应的服务器，被管理的机器才可用于安装迁移插件，本次实验用本机作为迁移插件的执行机。各插件围绕DataKit的资源中心进行扩展，完成数据库的运维，监控，迁移，开发，建模等复杂的操作。
【数据库迁移系列】从MySQL到openGauss的数据库对象迁移实践
Gauss松鼠会
10-28 9482
openGauss 3.1.0版本 9.30全新发布，工具的全量迁移和增量迁移的性能不但有了全面提升，而且支持数据库对象视图、触发器、自定义函数、存储过程的迁移。本篇就来分享一下使用chameleon工具进行从MySQL到openGauss的数据库对象迁移。
openGauss MySQL兼容性增强
cindy__007的博客
11-22 646
可获得性本特性自openGauss 3.0.0版本开始引入。特性简介本特性主要从以下三方面增强openGauss与MySQL的兼容性。同时，支持兼容Insert语法，Insert into可以简写为insert。支持用户锁，允许用户通过sql加自定义的锁，可以让多个程序之间完成加锁相关的交互过程，使得客户端从任何位置访问都可以得到一致性的锁视图。支持建表插入数据时默认记录插入当前时间；更新数据时，如果未指定更新时间，默认显示数据变更的当前时间。支持设置会话级SQL模式，允许运行时变更、全局变更以及会话内变更
mysql 迁移数据库
04-01
<think>嗯，用户想了解如何进行MySQL数据库迁移的最佳实践和教程。首先，我需要回忆一下数据库迁移的基本步骤和常见方法。根据之前提供的引用内容，有提到几种工具和方法，比如MySQL Workbench、Percona Toolkit、AWS DMS，还有pgloader迁移到openGauss的例子。用户可能希望有一个结构化的指南，涵盖迁移前的准备、方法选择、具体步骤以及迁移后的验证。 首先，用户可能需要明确迁移的原因，比如升级版本、更换云服务商，或者迁移到不同的数据库系统，比如从MySQL到openGauss。不同的迁移目标可能需要不同的工具和方法。比如，同构迁移可能用mysqldump，而跨数据库系统可能需要ETL工具或专门的迁移服务。 然后，迁移前的准备工作很重要，比如数据备份、检查版本兼容性，确保应用停机时间最小或者使用主从复制来减少停机时间。用户可能关心如何有效备份数据，避免数据丢失。这时候需要提到备份工具，如mysqldump或者物理备份工具。 接下来是具体的方法。用户可能需要分步骤的指导。比如使用mysqldump进行逻辑备份，然后导入到目标数据库。或者使用Percona Toolkit处理大表，避免锁表问题。对于云服务迁移，AWS DMS可能更合适，支持持续数据复制。如果是迁移到兼容PostgreSQL的数据库，如openGauss，pgloader可能更适合，这时候需要参考引用3的内容。 迁移后的验证也是关键，比如数据一致性检查、性能测试和应用测试。用户可能希望知道如何确认迁移成功，不会出现数据遗漏或错误。此外，优化步骤如索引重建、统计信息更新可能提升性能，这也是最佳实践的一部分。 用户还可能关心常见问题，比如如何处理迁移中的错误，如何最小化停机时间，不同方法的优缺点比较。比如逻辑备份适合小数据量，物理备份更快但需要兼容性，而在线迁移工具适合大数据量和最小停机。 需要确保回答结构清晰，分步骤说明，引用提到的工具和资源，比如引用1中的工具推荐，引用2的移植过程，引用3的pgloader使用。同时，生成的相关问题要覆盖用户可能进一步想了解的内容，如迁移失败处理、不同方法比较、数据一致性检查工具等。 最后，检查是否符合用户要求的格式：使用中文，行内公式用$...$，独立公式用$$...$$（虽然这个问题可能不需要数学公式，但要注意其他格式要求），正确引用标记，代码块用适当的语法高亮。确保没有使用Markdown格式，段落分隔自然，代码示例正确。比如在演示mysqldump时，给出命令行示例，用```bash代码块。</think>### MySQL数据库迁移最佳实践教程 --- #### **一、迁移前的准备工作** 1. **明确迁移目标** - 确定迁移类型：同版本迁移（如MySQL 5.7 → MySQL 5.7）、跨版本升级（如MySQL 5.7 → MySQL 8.0）或跨数据库迁移（如MySQL → openGauss）。 - 评估数据量大小和业务允许的停机时间。 2. **备份原始数据** 使用`mysqldump`或物理备份工具（如Percona XtraBackup）创建全量备份： ```bash mysqldump -u root -p --all-databases > full_backup.sql ``` 3. **检查兼容性** - 若跨版本迁移，需确认目标版本是否兼容旧版本的SQL语法、存储引擎等[^2]。 - 若跨数据库迁移（如MySQL → openGauss），需验证数据类型、函数等兼容性[^3]。 --- #### **二、迁移方法及步骤** ##### **方法1：逻辑备份与恢复（适合小型数据库）** 1. **导出数据** ```bash mysqldump -u root -p --databases db1 db2 > data.sql ``` 2. **导入到目标数据库** ```bash mysql -u root -p < data.sql ``` **优点**：简单易用，兼容性强。 **缺点**：大数据量时耗时较长，需停机维护。 ##### **方法2：物理备份迁移（适合大型数据库）** 1. **使用Percona XtraBackup热备份** ```bash xtrabackup --backup --user=root --password=123456 --target-dir=/backup/ ``` 2. **将备份文件复制到目标服务器并恢复** ```bash xtrabackup --copy-back --target-dir=/backup/ ``` **优点**：速度快，支持增量备份。 **缺点**：需确保源和目标MySQL版本一致。 ##### **方法3：在线迁移工具（适合云服务或异构迁移）** 1. **使用AWS Database Migration Service（AWS DMS）** - 配置源和目标数据库连接。 - 设置迁移任务，支持全量+增量同步[^1]。 2. **使用pgloader迁移至openGauss** ```bash pgloader mysql://user:password@source-host/dbname postgresql://user:password@target-host/dbname ``` **适用场景**：MySQL迁移到兼容PostgreSQL的数据库（如openGauss）。 --- #### **三、迁移后验证** 1. **数据一致性检查** - 对比源库和目标库的表的行数、校验和（如使用`CHECKSUM TABLE`）。 - 抽样验证关键业务表的数据准确性。 2. **性能测试** - 执行高频查询和事务，检查目标库的响应时间和吞吐量。 3. **应用测试** - 修改应用连接配置至新库，验证功能正常性。 --- #### **四、优化与监控** 1. **重建索引与统计信息** ```sql ANALYZE TABLE table_name; OPTIMIZE TABLE table_name; ``` 2. **监控工具** - 使用MySQL Enterprise Monitor或Prometheus + Grafana监控性能指标。 --- #### **五、常见问题与解决方案** - **Q1：迁移过程中出现字符集错误** **解决**：导出时指定字符集，如`mysqldump --default-character-set=utf8mb4`。 - **Q2：跨数据库迁移时数据类型不兼容** **解决**：使用ETL工具（如Talend）或自定义脚本转换数据格式[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值