Apache SeaTunnel 数据模式(Schema)功能详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00779/article/details/148443213

Apache SeaTunnel 数据模式(Schema)功能详解

seatunnel SeaTunnel is a next-generation super high-performance, distributed, massive data integration tool. 项目地址: https://gitcode.com/gh_mirrors/sea/seatunnel

什么是数据模式(Schema)

在数据处理领域，Schema（模式）定义了数据的结构和约束条件。Apache SeaTunnel作为一个强大的数据集成工具，提供了完善的Schema功能，帮助用户在处理非结构化或半结构化数据时，能够明确定义数据的格式和约束。

为什么需要Schema功能

许多NoSQL数据库或消息队列并不强制要求严格的数据模式，导致无法通过API直接获取数据的Schema结构。在这种情况下，SeaTunnel的Schema功能就显得尤为重要：

数据类型转换：确保数据在不同系统间传输时类型正确
数据质量保证：通过约束条件保证数据完整性
元数据管理：为无Schema数据源提供元数据支持
下游兼容性：确保数据格式符合目标系统的要求

Schema配置详解

SeaTunnel提供了灵活的Schema配置方式，主要包含以下几个核心部分：

1. 基本配置

schema = {
    table = "database.schema.table"  # 表全名
    schema_first = false            # 是否优先使用schema
    comment = "表注释"              # 表描述信息
    columns = [ ... ]              # 列定义
    primaryKey { ... }             # 主键定义
    constraintKeys { ... }         # 约束键定义
}

table配置

格式支持：database.schema.table、database.table或table
当schema_first=true时，优先将第一个部分解析为schema而非database

2. 列定义(Columns)

列定义是Schema的核心部分，支持丰富的配置选项：

columns = [
    {
        name = "id"               # 列名(必需)
        type = "bigint"           # 数据类型(必需)
        nullable = false          # 是否可为空
        columnLength = 20         # 列长度
        columnScale = 2           # 小数位数
        defaultValue = 0          # 默认值
        comment = "主键ID"        # 列注释
    }
]

支持的数据类型

SeaTunnel支持丰富的数据类型，分为基本类型和复杂类型：

基本类型：

数值类型：tinyint, smallint, int, bigint, float, double
字符串类型：string, bytes
时间类型：date, time, timestamp
布尔类型：boolean
空值类型："null"（必须加引号）

复杂类型：

精确小数："decimal(precision,scale)"（如"decimal(10,2)"）
数组："array<elementType>"（如"array<int>"）
映射："map<keyType,valueType>"（如"map<string,int>"）
行类型：{field1=type1, field2=type2}或JSON格式

3. 主键定义(PrimaryKey)

primaryKey {
    name = "pk_id"       # 主键名称
    columns = ["id"]     # 主键列列表
}

4. 约束键定义(ConstraintKeys)

constraintKeys = [
    {
        constraintName = "idx_name"      # 约束名称
        constraintType = "UNIQUE_KEY"   # 约束类型
        constraintColumns = [           # 约束列
            {
                columnName = "name"      # 列名
                sortType = "ASC"         # 排序方式(ASC/DESC)
            }
        ]
    }
]

支持的约束类型：

INDEX_KEY：普通索引
UNIQUE_KEY：唯一索引

最佳实践示例

完整Schema定义示例

source {
  FakeSource {
    parallelism = 2
    result_table_name = "fake"
    row.num = 16
    schema {
        table = "UserDB.UserTable"
        comment = "用户信息表"
        columns = [
           {
              name = "user_id"
              type = "bigint"
              nullable = false
              defaultValue = 0
              comment = "用户ID"
           },
           {
              name = "username"
              type = "string"
              nullable = false
              comment = "用户名"
           },
           {
              name = "age"
              type = "int"
              nullable = true
              comment = "年龄"
           },
           {
              name = "balance"
              type = "decimal(10,2)"
              nullable = true
              comment = "账户余额"
           },
           {
              name = "tags"
              type = "array<string>"
              nullable = true
              comment = "用户标签"
           }
       ]
       primaryKey {
          name = "pk_user"
          columns = ["user_id"]
       }
       constraintKeys = [
          {
             constraintName = "uk_username"
             constraintType = "UNIQUE_KEY"
             constraintColumns = [
                {
                    columnName = "username"
                    sortType = "ASC"
                }
             ]
          }
       ]
    }
  }
}

复杂类型使用示例

schema {
  fields {
    user_info = {
        id = "bigint"
        name = "string"
        address = {
            city = "string"
            zipcode = "string"
        }
    }
    order_history = "array<map<string,decimal(10,2)>>"
    metadata = "map<string,{create_time=timestamp,update_time=timestamp}>"
  }
}