Apache SeaTunnel中的JSONPath转换插件详解-优快云博客

Apache SeaTunnel中的JSONPath转换插件详解

seatunnel SeaTunnel是一个开源的数据集成工具，主要用于从各种数据源中提取数据并将其转换成标准格式。它的特点是易用性高、支持多种数据源、支持流式处理等。适用于数据集成和数据清洗场景。项目地址: https://gitcode.com/gh_mirrors/se/seatunnel

什么是JSONPath转换插件

JSONPath转换插件是Apache SeaTunnel数据处理框架中的一个重要组件，它允许用户使用JSONPath表达式从复杂的JSON结构中提取特定数据。JSONPath类似于XPath对于XML的作用，它提供了一种简洁而强大的方式来导航和查询JSON文档。

核心功能特性

灵活的数据提取：支持从JSON字符串、字节数组、数组、映射和行结构中提取数据
类型转换支持：可以将提取的数据自动转换为指定的目标类型
错误处理机制：提供多种策略处理数据格式错误
复杂结构处理：能够处理嵌套的JSON结构，包括数组和映射

配置参数详解

基本参数

| 参数名称 | 类型 | 必填 | 默认值 | 说明 | |---------|------|------|--------|------| | columns | 数组 | 是 | 无 | 定义需要提取的字段配置 | | row_error_handle_way | 枚举 | 否 | FAIL | 行级错误处理策略 |

列配置参数

每个列配置包含以下属性：

| 参数名称 | 类型 | 必填 | 默认值 | 说明 | |---------|------|------|--------|------| | src_field | 字符串 | 是 | 无 | 源JSON字段名 | | dest_field | 字符串 | 是 | 无 | 目标字段名 | | path | 字符串 | 是 | 无 | JSONPath表达式 | | dest_type | 字符串 | 否 | String | 目标字段类型 | | column_error_handle_way | 枚举 | 否 | 无 | 列级错误处理策略 |

错误处理策略

JSONPath转换插件提供了多层次的错误处理机制：

行级错误处理(row_error_handle_way)
- FAIL：遇到错误时抛出异常并终止处理（默认）
- SKIP：跳过包含错误的整行数据
列级错误处理(column_error_handle_way)
- FAIL：遇到错误时抛出异常（默认）
- SKIP：跳过当前列的错误数据
- SKIP_ROW：当该列出现错误时跳过整行数据

注意：列级错误处理策略优先级高于行级策略。

实际应用示例

示例1：从JSON文档提取数据

假设我们有以下JSON数据：

{
  "data": {
    "name": "张三",
    "age": 30,
    "scores": [85, 92, 78],
    "address": {
      "city": "北京",
      "street": "中关村"
    }
  }
}

配置提取规则：

transform {
  JsonPath {
    columns = [
      {
        "src_field" = "data"
        "path" = "$.data.name"
        "dest_field" = "user_name"
      },
      {
        "src_field" = "data"
        "path" = "$.data.age"
        "dest_field" = "user_age"
        "dest_type" = "int"
      },
      {
        "src_field" = "data"
        "path" = "$.data.scores"
        "dest_field" = "score_list"
        "dest_type" = "array<int>"
      },
      {
        "src_field" = "data"
        "path" = "$.data.address.city"
        "dest_field" = "city"
      }
    ]
  }
}

示例2：处理SeatunnelRow类型数据

当处理SeatunnelRow类型数据时，可以使用数组索引方式访问元素：

transform {
  JsonPath {
    columns = [
      {
        "src_field" = "row_data"
        "path" = "$[0]"
        "dest_field" = "first_field"
      },
      {
        "src_field" = "row_data"
        "path" = "$[1]"
        "dest_field" = "second_field"
        "dest_type" = "int"
      }
    ]
  }
}