Waterdrop项目中的模式演进(Schema Evolution)技术详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01074/article/details/148440407

Waterdrop项目中的模式演进(Schema Evolution)技术详解

seatunnel 项目地址: https://gitcode.com/gh_mirrors/seat/seatunnel

什么是模式演进

模式演进(Schema Evolution)是数据集成领域的一项重要功能，它允许数据表的Schema结构发生变化时，数据同步任务能够自动适应这些变化而无需人工干预。在实际业务场景中，数据库表结构经常需要调整，比如添加新字段、删除字段、修改字段类型或重命名字段等。传统的数据同步工具遇到这类变更通常需要停止任务、修改配置并重新启动，而Waterdrop通过模式演进功能完美解决了这个问题。

Waterdrop模式演进的核心特性

支持的引擎

目前Waterdrop的模式演进功能主要在Zeta引擎上实现，这是Waterdrop的高性能数据处理引擎。

支持的模式变更类型

Waterdrop能够自动处理以下四种常见的Schema变更：

添加列(ADD COLUMN)：当源表新增字段时，目标表会自动同步添加该字段
删除列(DROP COLUMN)：当源表删除字段时，目标表会自动删除对应字段
重命名列(RENAME COLUMN)：当源表重命名字段时，目标表会同步更新字段名
修改列(MODIFY COLUMN)：当源表修改字段类型时，目标表会相应调整字段类型

支持的连接器组合

数据源连接器

MySQL CDC
Oracle CDC

目标连接器

JDBC系列：MySQL、Oracle、PostgreSQL、达梦(Dameng)、SQL Server
大数据存储：StarRocks、Doris
其他：Paimon、Elasticsearch

使用注意事项

转换限制：目前模式演进不支持在transform阶段处理Schema变更
跨数据库类型限制：不同类型数据库(如Oracle到MySQL)之间的模式演进暂不支持DDL中的列默认值
Oracle特殊限制：
- 不能使用SYS或SYSTEM用户修改表结构，否则DDL事件会被过滤
- 表名以ORA_TEMP_开头的表也不支持模式演进
达梦数据库限制：早期版本的达梦数据库不支持将Varchar类型字段改为Text类型

如何启用模式演进功能

模式演进功能在CDC源连接器中默认是关闭的，需要通过以下配置显式开启：

schema-changes.enabled = true

典型应用场景示例

MySQL到MySQL的实时同步

source {
  MySQL-CDC {
    # ...其他配置...
    schema-changes.enabled = true
  }
}

sink {
  jdbc {
    # ...JDBC配置...
    generate_sink_sql = true  # 自动生成SQL
    is_exactly_once = true   # 确保精确一次处理
  }
}

Oracle到Oracle的实时同步

source {
  Oracle-CDC {
    # ...Oracle源配置...
    schema-changes.enabled = true
  }
}

sink {
  Jdbc {
    # ...Oracle目标配置...
    generate_sink_sql = true
  }
}

MySQL到StarRocks的实时同步

sink {
  StarRocks {
    # ...StarRocks配置...
    schema_save_mode="RECREATE_SCHEMA"  # 模式重建策略
    data_save_mode="DROP_DATA"         # 数据处理策略
    save_mode_create_template = """    # 自定义建表模板
    CREATE TABLE IF NOT EXISTS shop.`${table_name}` (
        ${rowtype_primary_key},
        ${rowtype_fields}
        ) ENGINE=OLAP
        PRIMARY KEY (${rowtype_primary_key})
        # ...其他表属性...
    """
  }
}