使用DRS将MySQL或Oracle数据库迁移到GaussDB

最新推荐文章于 2025-09-12 17:19:30 发布
原创 最新推荐文章于 2025-09-12 17:19:30 发布 · 2.5k 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #mysql #gaussdb

使用DRS将MySQL数据库迁移到GaussDB

解决问题

企业业务高速发展，传统数据库扩容性差，迫切需要分布式化改造。
传统数据库需要自购并安装服务器、系统、数据库等软件，运维成本高、难度大。
传统数据库性能瓶颈问题，复杂查询性能较差。
如何不中断业务并且平滑地实现数据迁移。

前提条件

拥有华为云账号。
账户余额大于等于0元。
如果测试使用，需要自行在本地搭建MySQL数据库。
已知待迁移MySQL数据库的IP地址，端口，账户和密码。
业务架构图

在这里插入图片描述

迁移原理

本次迁移使用全量+增量同步功能，原理如下：

全量同步阶段，先进行结构迁移，例如表、主键、唯一键的迁移。
结构迁移完成后，启动增量数据抽取，以确保全量数据同步期间的增量数据完整的抽取到DRS实例。

启动全量迁移任务。

全量迁移完成后自动进入增量同步，从全量迁移开始抽取的位点开始回放。
当增量回放全部完成后，启动比对任务进行一致性检查，支持实时比对。
实时比对数据一致时，可以启动业务割接。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

步骤二：创建GaussDB实例

创建GaussDB实例，作为迁移任务目标库。

登录华为云控制台。

单击管理控制台左上角的，选择区域。
单击左侧的服务列表图标，选择“数据库 > 云数据库 GaussDB”。
在左侧导航栏选择GaussDB > 实例管理。
单击“购买数据库实例”。
参考图2，配置实例名称，选择计费模式、产品类型、数据库引擎版本、实例类型、事务一致性、分片数量、协调节点数量和可用区。

在这里插入图片描述
选择实例规格、存储空间大小。

选择实例所属的VPC（创建VPC）和安全组（创建安全组），配置数据库端口。

配置实例密码等信息。

单击“立即购买”，确认信息并提交。

返回实例列表。

当实例运行状态为“正常”时，表示实例创建完成。

参考文档

使用DRS将Oracle数据库迁移到GaussDB

使用DRS将Oracle数据库迁移至GaussDB (1)

使用DRS将Oracle数据库迁移至GaussDB

步骤一：创建VPC和安全组

创建VPC和安全组，为创建GaussDB实例准备网络资源和安全组。

创建VPC创建安全组

登录华为云控制台。
单击管理控制台左上角的，选择区域。
单击左侧的服务列表图标，选择“网络 > 虚拟私有云 VPC”。进入虚拟私有云信息页面。
单击“创建虚拟私有云”购买VPC。
图2 基本信息
在这里插入图片描述

图3 子网设置
在这里插入图片描述

单击“立即创建”。
返回VPC列表，查看创建VPC是否创建完成。
当VPC列表的VPC状态为“可用”时，表示VPC创建完成。

步骤二：创建GaussDB实例

创建GaussDB实例，作为迁移任务目标库。

登录华为云控制台。
单击管理控制台左上角的，选择区域。
单击左侧的服务列表图标，选择“数据库 > 云数据库 GaussDB”。
在左侧导航栏选择GaussDB > 实例管理。
单击“购买数据库实例”。

在这里插入图片描述
参考图6，配置实例名称，选择计费模式、产品类型、数据库引擎版本、实例类型、事务一致性、分片数量、协调节点数量和可用区。
基本信息

选择实例规格、存储空间大小。
图7 实例规格

在这里插入图片描述

选择实例所属的VPC（创建VPC）和安全组（创建安全组），配置数据库端口。
图8 选择VPC和安全组
在这里插入图片描述

配置实例密码等信息。
图9 配置实例密码等信息
在这里插入图片描述

单击“立即购买”，确认信息并提交。
返回实例列表。
当实例运行状态为“正常”时，表示实例创建完成。

步骤三：迁移前构造数据

迁移前需要在源库构造一些数据类型，供迁移完成后验证数据。本章中端到端的数据为测试数据，仅供参考。

使用DRS将Oracle数据库迁移至GaussDB

步骤一：创建VPC和安全组
创建VPC和安全组，为创建GaussDB实例准备网络资源和安全组。

创建VPC创建安全组
登录华为云控制台。
单击管理控制台左上角的，选择区域。
单击左侧的服务列表图标，选择“网络 > 虚拟私有云 VPC”。进入虚拟私有云信息页面。
单击“创建虚拟私有云”购买VPC。

单击“立即创建”。
返回VPC列表，查看创建VPC是否创建完成。
当VPC列表的VPC状态为“可用”时，表示VPC创建完成。

步骤二：创建GaussDB实例

创建GaussDB实例，作为迁移任务目标库。

登录华为云控制台。
单击管理控制台左上角的，选择区域。
单击左侧的服务列表图标，选择“数据库 > 云数据库 GaussDB”。
在左侧导航栏选择GaussDB > 实例管理。
单击“购买数据库实例”。

配置实例名称，选择计费模式、产品类型、数据库引擎版本、实例类型、事务一致性、分片数量、协调节点数量和可用区。

选择实例规格、存储空间大小。

选择实例所属的VPC（创建VPC）和安全组（创建安全组），配置数据库端口。
选择VPC和安全组

配置实例密码等信息。

单击“立即购买”，确认信息并提交。
返回实例列表。
当实例运行状态为“正常”时，表示实例创建完成。

步骤三：迁移前构造数据
迁移前需要在源库构造一些数据类型，供迁移完成后验证数据。本章中端到端的数据为测试数据，仅供参考。

语法说明
标题文本样式列表图片链接目录代码片表格注脚注释自定义列表LaTeX 数学公式插入甘特图插入UML图插入Mermaid流程图插入Flowchart流程图插入类图快捷键

使用DRS将Oracle数据库迁移至GaussDB
Oliviahome的博客
10-29 1150
配置同步实例信息，选择“数据流动方向”、“源数据库引擎”、“目标数据库引擎”、“网络类型”、“DRS任务类型”、“目标数据库实例”、“同步实例所在子网”、“同步模式”、“指定公网IP”（网络类型选择公网网络时需要配置该参数）、“规格类型”、“可用区”和“企业项目”，选填“标签”。由于本次迁移为“全量+增量”同步模式，全量同步完成后，如果在创建任务后有数据写入，这些写入的数据会一直同步至目标库中，直到任务结束。将“COL_01_CHAR______E”重新命名为“new-line”，单击“确定”。
Mysql迁移到GaussDb_GaussDB T 使用DUMP/LOAD导出导入迁移备份数据
weixin_35973118的博客
01-19 1386
GaussDB T 支持使用dump和load将数据库中的数据导出成标准化通用文件，可使用gaussdb T 的 load导入Oracle、MySQL、SQLserver等数据库导出的文件，同时也可以使用dump导出gaussdb T 的数据，然后导入到其他数据库或者其他gaussdb数据库。功能类似于Oracle的sqlldr，同时也可用于第三方工具导入到其他数据库中。这种通用格式的文件内容如下...
mysql数据库转高斯数据库
最新发布
qq_50879110的博客
09-12 368
改高斯数据库语句。使用navicat从mysql导出库表结果和数据。
使用DRS将MySQL数据库迁移到GaussDB（3）
Oliviahome的博客
10-29 755
创建DRS实例，将本地MySQL上的数据库同步到GaussDB实例中数据库中。
使用DRS将MySQL数据库迁移到GaussDB（下）
Cui_Yuan_666的博客
05-19 1083
如测试连接失败，将提示连接失败原因，您需根据提示信息进行修改，以便新增数据库登录成功。test_info为本次迁移创建的用户，<database>为需要数据同步的库名，<table>为要数据同步的表名，请根据实际情况替换。MySQL数据库中的模式迁移完成后，会在GaussDB库中作为Schema，所以查询语句中添加Schema精确查询。当任务状态变为“增量同步”，说明全量同步已经完成，全量同步完成后，登录GaussDB查看数据迁移结果。填写完成后，需要单击“测试连接”，测试连接信息是否正确。
MySQL篇——MySQL迁移GaussDB的PG模式讲解，涵盖AWS SCT、AWS Database Migration Service（AWS DMS）详细介绍，实战经验！
我热爱学习，也乐于分享。无论是科技前沿的洞见，还是生活中的小技巧，我都会在这里与你分享。我相信，知识就是力量，而分享则能让这份力量得到更好的传递。
01-16 3047
通过AWS Schema Conversion Tool工具实现评估和做数据转换AWS Schema Conversion Tool（SCT）是一款免费的AWS工具，用于将现有数据库架构从一个数据库引擎转换为另一个数据库引擎。SCT支持多个源数据库和目标数据库，可以转换关系OLTP架构或数据仓库架构。
使用DRS将MySQL数据库迁移到GaussDB
m0_60569209的博客
01-16 1004
本章主要介绍如何使用DRS的实时同步功能将本地MySQL数据库实时迁移至华为云GaussDB。通过全量+增量同步，实现源数据库MySQL与目标数据库GaussDB的数据长期同步。
Mysql迁移到GaussDb_使用DataSync迁移数据到Gaussdb T
weixin_42211324的博客
01-19 1172
摘要：DataSync支持GaussDB 100(GaussDB T)在线迁移和Sybase、Oracle、MySQL、 GaussDB 100 V100R003C10、SQL Server离线迁移两种数据迁移方式。本文主要以MySQL示例，分步骤在线迁移MySQL到Gaussdb 100一、DataSync迁移数据简介DataSync支持GaussDB 100(GaussDB T)在线迁移和Sy...
mysql 迁移 gaussdb_示例：从MYSQL向GaussDB(DWS)进行数据迁移
weixin_42512021的博客
02-03 1225
//以下用例以gsjdbc4.jar为例，如果要使用gsjdbc200.jar，请替换驱动类名(将代码中的“org.postgresql”替换成“com.huawei.gauss200.jdbc”)与连接URL串前缀(将“jdbc:postgresql”替换为“jdbc:gaussdb”)。import java.io.StringReader;import java.sql.Connection...
mysql迁移到高斯DB_将数据导入高斯数据库 GaussDB
weixin_35431719的博客
02-01 3465
启动 GDS非 SSL 模式传输数据的情况下，使用如下命令启动 GDS。gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/gds/gds_log.txt -D使用 SSL 加密方式传输数据时，在确保执行了步骤 4 后，使用如下命令启动 GDS。gds -d /input_data/ -p 192.168.0.9...
MySQL项目迁移华为GaussDB PG模式指南
日拱一卒无有尽，功不唐捐终入海
08-27 9246
本文是关于如何将MySQL项目迁移到华为GaussDB PG模式的详细教程。背景：在当今的国际形势严峻，很多卡脖子的技术搞得我们国内奋发图强，以华为为代表的国产数据库。在很多国企的系统中已经开始迁移。国产数据库的重要性不言而喻。本文整理总计了一下从MySQL迁移到华为的GaussDB PG模式。这两种数据库在核心上有很大的不同，因此这个迁移过程可能会遇到一些困难。本文将详细介绍如何进行这种迁移，包括数据迁移，表结构迁移，以及索引、触发器、存储过程和函数的迁移等步骤。
mysql迁移到高斯DB_【HICP Gaussdb】数据库 升级迁移维护-2
weixin_28197941的博客
01-28 792
DM-Data Manager 集群管理web工具数据库升级1、检查版本 依次升级、升级前全备数据2、磁盘空间不小于表预留空间3、 确保数据库对包有一定权限4、升级后正常启停 python zctl.py -t start5、升级前必须停止业务6、确保控制软件对数据库没有进行 实例关闭 拉起 主备切换 容灾 备份 触发定时任务 否则失败无法回滚升级流程 升级检查环境 pre-check --&...
使用DRS将MySQL数据库迁移到GaussDB（1）
Oliviahome的博客
10-29 472
参考图2，配置实例名称，选择计费模式、产品类型、数据库引擎版本、实例类型、事务一致性、分片数量、协调节点数量和可用区。结构迁移完成后，启动增量数据抽取，以确保全量数据同步期间的增量数据完整的抽取到DRS实例。传统数据库需要自购并安装服务器、系统、数据库等软件，运维成本高、难度大。当增量回放全部完成后，启动比对任务进行一致性检查，支持实时比对。全量同步阶段，先进行结构迁移，例如表、主键、唯一键的迁移。已知待迁移MySQL数据库的IP地址，端口，账户和密码。当实例运行状态为“正常”时，表示实例创建完成。
基于 DRS 的 MySQL → GaussDB 迁移技术方案
Oliviahome的博客
03-19 1116
通过华为云 DRS 实现 MySQL → GaussDB 迁移，可显著降低人工操作风险，确保分钟级业务停机和100% 数据一致性。迁移后建议结合 GaussDB 的分布式特性​（如读写分离、分片表）进一步优化业务性能。
迁移mysql数据库到opengauss
FinelyYang的专栏
02-03 1911
openGauss侧使用的用户名密码分别是 gaussdb和 gaussdb@1qazx。openGauss服务器的IP和port分别是192.168.132.153和5432，目标数据库是db_smis，同时会在db_smis下创建schema：db_smis，迁移的表都将位于该schema下。迁移数据时，MySQL侧使用的用户名密码分别是 usr_replica 和 re@1qazx。MySQL服务器的IP和port分别是192.168.132.153和3306，待迁移的数据库是db_smis。
使用DRS将MySQL数据库迁移到GaussDB（2）
Oliviahome的博客
10-29 301
如测试连接成功，将提示“连接成功”，您可继续新增操作。如测试连接失败，将提示连接失败原因，您需根据提示信息进行修改，以便新增数据库登录成功。选择“数据库引擎”、“数据库来源”，填写登录用户名、密码以及描述（非必填项）信息，开启SQL执行记录功能。在数据管理服务DAS左侧导航栏，单击“开发工具”，进入开发工具数据库登录列表页面。单击左侧的服务列表图标，选择“数据库 > 数据管理服务 DAS”。单击“新增数据库实例登录”，打开新增数据库实例登录窗口。新增完成后，单击新增登录的“登录”，登录当前数据库。
DRS迁移Oracle到高斯数据库时，如何处理LOB字段的同步？
09-02
<think> 我们正在讨论DRS迁移Oracle到高斯数据库时LOB字段的同步处理。 根据用户的问题，他特别询问了LOB（大对象）字段的同步方法。 在Oracle中，LOB类型包括CLOB（字符大对象）和BLOB（二进制大对象），在迁移到高斯数据库时，高斯数据库有对应的TEXT和BYTEA类型（或者BLOB类型，具体取决于高斯数据库的版本和类型，高斯数据库有多个版本，如GaussDB for openGauss，GaussDB for MySQL等，但通常高斯数据库（如基于openGauss的）支持TEXT和BLOB类型）。 在DRS迁移过程中，对于LOB字段的处理，主要有以下几点： 1. **全量迁移**：DRS在全量迁移阶段会读取Oracle中的LOB字段数据，并写入到高斯数据库对应的列中。由于LOB数据可能很大，DRS会采用流式读写，避免内存溢出。 2. **增量同步**：增量阶段，DRS通过解析Oracle的redo日志（归档日志或在线日志）捕获LOB字段的变更。这里需要注意的是，LOB字段的变更在Oracle的redo日志中可能不是完整的记录，而是以部分更新（chunk）的方式记录。因此，DRS需要能够处理这些部分更新，并重新组装成完整的LOB数据。 3. **性能考虑**：由于LOB数据通常较大，迁移时可能会影响网络带宽和迁移速度。因此，建议在业务低峰期进行迁移，并且确保网络带宽充足。 4. **类型映射**： - Oracle的CLOB映射为高斯数据库的TEXT（或CLOB）类型。 - Oracle的BLOB映射为高斯数据库的BYTEA（或BLOB）类型。 5. **特殊情况**： - 如果LOB字段为空（NULL），则直接同步为NULL。 - 对于非常大的LOB（如超过1GB），需要确保目标高斯数据库支持该大小的LOB。 6. **配置注意事项**：在DRS任务配置中，通常不需要特殊设置即可同步LOB字段。但是，如果LOB字段特别多或者特别大，可以调整DRS任务的高级参数，比如增加每次读取的数据块大小或者调整并发线程数，以优化迁移性能。 7. **限制和约束**： - DRS对于单个LOB字段的大小限制取决于目标数据库的支持。高斯数据库（openGauss）中，TEXT类型理论上最大1GB，而BYTEA类型也有限制（默认最大1GB，但可以通过修改max_size参数调整）。 - 注意Oracle中LOB字段可能有存储属性（如IN ROW或OUT OF ROW），迁移到高斯后，这些属性不会被保留，因为高斯数据库的存储方式不同。 8. **错误处理**：如果LOB字段在迁移过程中出现错误（如数据截断、编码问题等），DRS会记录错误信息，并可根据配置选择跳过错误或停止任务。 因此，处理LOB字段同步的关键点在于： - 确保源端Oracle的LOB数据可以被正常读取（包括权限和日志模式）。 - 确保目标高斯数据库有足够的存储空间和适当的配置来存储大对象。 - 监控迁移过程中的性能和错误。 操作步骤建议： 1. 在迁移前，检查Oracle表中有哪些LOB列，并评估大小。 2. 在高斯数据库中创建表结构时，确保对应的列使用合适的数据类型（如TEXT、BYTEA或BLOB）。 3. 在DRS任务配置中，不需要特别针对LOB字段进行设置，但可以调整性能参数以优化大对象的传输。 4. 迁移完成后，抽样检查LOB字段的数据是否正确，特别是大文本和二进制数据。 注意：如果遇到性能问题，可以考虑分阶段迁移，例如先迁移非LOB数据，再迁移LOB数据，但DRS通常是一次性迁移整个表。 引用说明：根据用户提供的引用[1]，我们主要参考了DRS迁移的前提条件，但引用中并未直接提及LOB处理。因此，上述回答基于DRS的一般处理机制和对数据库迁移的常规理解。 相关问题： 由于用户之前的问题涉及无主键表迁移，现在又涉及LOB字段同步，我们可以提出以下相关问题： 1. DRS迁移过程中处理大对象（LOB）字段有哪些性能优化建议？ 2. 如何解决DRS迁移LOB字段时出现的字符集编码问题？ 3. 高斯数据库对LOB字段的支持与Oracle有哪些主要差异？ 4. 在DRS迁移过程中，LOB字段同步失败应如何排查？ </think> ### DRS迁移Oracle到高斯数据库时LOB字段同步方法详解 #### 一、LOB字段类型映射关系 | Oracle类型 | 高斯数据库映射类型 | 说明 | |----------------|------------------|-----------------------------| | CLOB | TEXT | 字符大对象，最大支持1GB | | BLOB | BYTEA | 二进制大对象，最大支持1GB | | NCLOB | NVARCHAR2 | Unicode大对象，需注意字符集转换 | | BFILE | 不支持迁移 | 外部文件指针类型需业务改造[^1] | #### 二、同步处理机制 1. **全量迁移阶段** - **分块读取**：对大尺寸LOB字段自动分块传输（默认4KB/块），避免内存溢出 - **并行处理**：为每个LOB列启用独立传输线程，提升大对象迁移效率 ```sql /* DRS内部处理逻辑伪代码 */ FOR each LOB_column IN table: WHILE has_more_data: chunk = read_lob_chunk(offset, 4096) execute("INSERT ... VALUES(?, ?)", [chunk, offset]) ``` 2. **增量同步阶段** - **日志解析**：通过Oracle Redo日志捕获LOB变更 - **差异更新**： - 对<32KB的LOB更新：直接全量替换 - 对>32KB的LOB更新：采用部分更新(PARTIAL UPDATE)策略 $$ \Delta_{update} = \text{OLD\_DATA}_{[0:start]} + \text{NEW\_CHUNK} + \text{OLD\_DATA}_{[end:EOF]} $$ #### 三、配置要点 1. **DRS任务参数优化** ```yaml lob_parameters: max_lob_size: 1073741824 # 最大LOB支持1GB chunk_size: 4096 # 传输分块大小 parallel_workers: 8 # LOB并行处理线程数 ``` 2. **特殊场景处理** - **超大LOB迁移**（>1GB）： 1. 在Oracle端拆分：`DBMS_LOB.SUBSTR` 2. 高斯端重组：`lo_from_bytea()` - **空值处理**：`EMPTY_CLOB()` → `NULL` 转换 #### 四、性能优化建议 1. **网络层** - 启用压缩传输：`alter system set LOB_COMPRESSION=TRUE` - 调整WAL级别：`SET wal_level = minimal` 2. **存储层** ```sql /* 高斯库表优化 */ ALTER TABLE target_table SET (storage_type = ustore); /* 使用UNDO优化LOB更新 */ ``` #### 五、验证方法 1. **完整性校验** ```sql /* Oracle端 */ SELECT DBMS_LOB.GETLENGTH(clob_col), STANDARD_HASH(clob_col, 'SHA256') FROM source_table; /* 高斯端 */ SELECT octet_length(text_col), encode(sha256(text_col::bytea), 'hex') FROM target_table; ``` 2. **一致性检查工具** ```shell # 使用DRS内置校验工具 drs_verify --type=lob \ --source=oracle://user:pwd@host/sid \ --target=gaussdb://user:pwd@host/db \ --table=target_table ``` #### 六、故障处理 | 问题现象 | 解决方案 | |----------------------------|----------------------------| | ORA-22922: LOB索引不存在 | 源端执行`ALTER TABLE ... MOVE`重建LOB | | 增量同步LOB截断 | 检查NLS_LANG字符集一致性 | | 迁移性能骤降 | 调整`lob_parameters.parallel_workers` | | 目标端BYTEA解码错误 | 使用`convert_from(bytea, 'UTF8')`转换 | > **重要提示**：对于>100MB的LOB字段，建议在业务低峰期迁移，并通过`DBMS_LOB.OPEN`/`CLOSE`显式管理LOB句柄[^1]。 --- ###
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Gauss松鼠会

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值