
AWS-DMS
|ChuckChen|
本博客为记录作者平时测试与学习笔记,并分享给大家。专注原创。希望可以带给大家一些技术上的分享。
本博客仅作者本人所有, 与 AWS 官方没有任何关联。所有言论也仅代表作者本人。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
AWS - DMS - 迁移 MySQL 的用户名 密码 权限
对于 DMS ,是不会迁移用户信息。这部分可以借助其他第三方软件进行迁移, 例如 Percona toolkit 的 pt-show-grants。https://www.percona.com/percona-toolkit -- 直接下载 rpm 包。1. 准备一台 EC2 Linux 实例,可以连接到源端 MySQL ,也可以在源端服务端上进行安装。2. 参考以下链接进行安装。也可以直接下载 rpm 包进行安装。4. 用这些 SQL 在目标端执行,来创建语句。5. 进行登录验证。原创 2025-03-11 14:42:40 · 313 阅读 · 0 评论 -
AWS - DMS - PG作为源端时启用CDC
执行 DMS 的 CDC ,当PostgreSQL 作为数据库的源端时,会在源端实例创建 replication slot, 这会将 DMS 复制任务当作一个 PG 的从库。避免为应用的日志被删除,所以主库实例会保存日志,直到从库获取日志。我们可以通过以下查询语句获取到该信息。当 DMS 正常启动时, 可以从 pg_stat_replication , pg_replication_slots 查询到信息。当 DMS 停止状态时, 可以从 pg_stat_replication 查询到信息。请将原创 2020-07-29 13:06:47 · 663 阅读 · 0 评论 -
AWS - DMS - 迁移 MySQL 时由于时区导致的数据验证错误
通过 AWS DMS 迁移 MySQL 时由于时区导致的数据验证错误, 查看DMS 执行。如何查看 AWS DMS 到底做了些什么,或者执行了哪些语句?我们可以在配置 DMS任务时,开启日志的 Debug 模式。并且将数据库的日志模式设置为最高。 比如 MySQL 中开启 general_log.如果数据库中的时区设置不为 UTC。那么当表中使用 timestamp 时, DMS 做 validation 就会有问题。这是因为 valiedation 时, 对 源库 的连接会自动使用 UTC 的原创 2020-07-23 17:13:04 · 777 阅读 · 0 评论 -
AWS - DMS - Redshift 作为目标端时的
当 Redshift 集群作为 DMS 中的 目标端 时, IAM Role的这一步经常会被忽略。导致在执行DMS任务时,发现 表已经被创建在目标端了,但是数据确没过去。查看日志,只有一条Warning,Table 'public'.'tablename' (subtask 1 thread 1) is suspended (replicationtask.c:2471)。再无其他信息。这时我们束手无策。返回头去查文档,发现没什么问题啊。同账号,同区域,网络都通,Role创建了,没有LOB。AWS原创 2020-06-06 00:45:11 · 613 阅读 · 0 评论 -
AWS - DMS - Full Load 的 3 种 ”目标表准备模式“
AWS DMS 中 Full Load 的3 种 ”目标表准备模式“ 。不执行任何操作:目标表中存在数据不会被更改,只会插入不一样的数据。删除目标中的表:表会被删除,重建。截断:表不会被删除。数据会被truncate。原表结构及数据:mysql> desc test_dms_1 -> ;+-------+-----------+------+-----+-------------------+-----------------------------+| Field | T原创 2020-05-28 21:07:09 · 559 阅读 · 0 评论 -
AWS -DMS -实例内存降低
要执行数据库迁移,AWS DMS 将连接到源数据存储,读取源数据并设置数据格式以供目标数据存储使用。然后,它会将数据加载到目标数据存储中。此处理大部分在内存中进行,不过大型事务可能需要部分缓冲到磁盘。缓存事务和日志文件也会写入磁盘。在完全加载迁移过程中,源中的现有数据将移动到目标数据库,AWS DMS 会将源数据存储上的表中的数据加载到目标数据存储上的表。在完全加载进行期间,对所加载表进行的更改...原创 2020-04-03 14:25:07 · 483 阅读 · 0 评论