Waterdrop项目SQL配置文件详解：从入门到实践-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01054/article/details/148440464

Waterdrop项目SQL配置文件详解：从入门到实践

seatunnel 项目地址: https://gitcode.com/gh_mirrors/seat/seatunnel

什么是Waterdrop SQL配置文件

Waterdrop项目提供了一种基于SQL语法的配置文件方式，让用户能够以更直观、更符合数据工程师习惯的方式来定义数据处理任务。这种配置文件以.sql为后缀，采用类SQL语法来描述数据源、数据目标以及数据处理逻辑。

SQL配置文件基础结构

一个典型的Waterdrop SQL配置文件包含以下几个核心部分：

通用配置：定义任务运行环境参数
源表定义：描述数据来源
目标表定义：描述数据去向
数据处理逻辑：定义如何将源数据转换并写入目标

详细配置解析

1. 通用配置部分

通用配置使用特殊的注释语法定义，采用HOCON格式：

/* config
env {
  parallelism = 1       // 任务并行度
  job.mode = "BATCH"   // 任务模式：BATCH(批处理)或STREAMING(流处理)
}
*/

这部分配置控制整个任务的运行方式，类似于传统配置文件中的环境变量设置。

2. 源表(SOURCE)定义

源表定义采用CREATE TABLE ... WITH语法：

CREATE TABLE source_table WITH (
  'connector'='jdbc',                  // 连接器类型
  'type'='source',                     // 固定为source表示源表
  'url' = 'jdbc:mysql://localhost:3306/db',
  'driver' = 'com.mysql.cj.jdbc.Driver',
  'user' = 'root',
  'password' = '123456',
  'query' = 'select * from source',     // 查询语句
  'properties'= '{                     // 高级属性
    useSSL = false,
    rewriteBatchedStatements = true
  }'
);

关键点说明：

connector和type是必填字段
其他参数根据具体连接器类型而定
子配置使用HOCON格式字符串，属性间用逗号分隔
字符串中的单引号需要用双引号转义

3. 目标表(SINK)定义

目标表语法与源表类似：

CREATE TABLE sink_table WITH (
  'connector'='jdbc',
  'type'='sink',                      // 固定为sink表示目标表
  'url' = 'jdbc:mysql://localhost:3306/db',
  'driver' = 'com.mysql.cj.jdbc.Driver',
  'user' = 'root',
  'password' = '123456',
  'generate_sink_sql' = 'true',       // 是否自动生成建表SQL
  'database' = 'target_db',
  'table' = 'target_table'
);

4. 数据处理逻辑

Waterdrop支持多种数据处理语法：

基本INSERT INTO SELECT语法

INSERT INTO sink_table SELECT id, name, age, email FROM source_table;

注意：

不支持在INSERT中指定字段列表
如果字段名是SQL关键字，需要用反引号包裹

表级同步语法

INSERT INTO sink_table SELECT source_table;

这种语法适用于整表同步场景，特别适合多表同步配置。

中间表语法

CREATE TABLE temp1 AS SELECT id, name FROM source_table;
INSERT INTO sink_table SELECT * FROM temp1;

这种语法允许先创建中间结果表，再进行后续处理，适合复杂的数据处理流程。

实际应用示例

多表同步场景

CREATE TABLE source_table WITH (
  'connector'='jdbc',
  'type' = 'source',
  'url' = 'jdbc:mysql://127.0.0.1:3306/source_db',
  'driver' = 'com.mysql.cj.jdbc.Driver',
  'user' = 'root',
  'password' = '123456',
  'table_list' = '[
      {
        table_path = "schema.table1"
      },
      {
        table_path = "schema.table2",
        query = "select * from schema.table2 where status=1"
      }
    ]'
);

CREATE TABLE sink_table WITH (
  'connector'='jdbc',
  'type' = 'sink',
  'url' = 'jdbc:mysql://127.0.0.1:3306/target_db',
  'driver' = 'com.mysql.cj.jdbc.Driver',
  'user' = 'root',
  'password' = '123456',
  'generate_sink_sql' = 'true'
);

INSERT INTO sink_table SELECT source_table;