TIDB-dm-数据同步不同场景处理

最新推荐文章于 2023-04-22 15:50:24 发布

原创

最新推荐文章于 2023-04-22 15:50:24 发布 · 868 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

本文详细介绍了DM(DMall Data Migration)数据迁移工具的配置，包括同步单库多表、非分库情况下的多种场景配置，并提供了异常处理方法。在验证配置过程中，通过创建和删除表等操作验证了同步规则的有效性。此外，还讨论了两个常见问题：无主键表的报错和全量同步未生效的解决办法。

一、简介

之前的文章已经讲了dm同步的初步搭建：https://blog.youkuaiyun.com/line_on_database/article/details/115078212

保证dm可以正常同步，本章记录一些不同的配置及一些异常的处理方式

二、不同情况下的同步配置

1.同步一张库的不同表（简单示例）

block-allow-list:                     # 如果 DM 版本 <= v2.0.0-beta.2 则使用 black-white-list。
  global:
    do-dbs: ["dm_test1"]
    do-tables:                        # 需要迁移的上游表的白名单。
    - db-name: "dm_test1"              # 需要迁移的表的库名。
      tbl-name: "dm_test1"          # 需要迁移的表的名称。
    - db-name: "dm_test1"
      tbl-name: "dm_test2"

2.非分库情况下的多种情况配置

2.1 规则配置如下

# 跳过自增主键的检查,相同主键后者内容会覆盖前者
ignore-checking-items: ["auto_increment_ID"]
# 当前数据迁移任务需要的全部上游 MySQL 实例配置。
mysql-instances:
-
  # 上游实例或者复制组 ID，参考 `inventory.ini` 的 `source_id` 或者 `dm-master.toml` 的 `source-id 配置`。
  source-id: "mysql-replica-01"
  # 需要迁移的库名或表名的黑白名单的配置项名称，用于引用全局的黑白名单配置，全局配置见下面的 `block-allow-lis