Waterdrop项目中的JsonPath转换插件使用指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00618/article/details/148440469

Waterdrop项目中的JsonPath转换插件使用指南

seatunnel 项目地址: https://gitcode.com/gh_mirrors/seat/seatunnel

什么是JsonPath转换插件

JsonPath转换插件是Waterdrop数据处理框架中的一个重要组件，它允许用户使用JsonPath表达式从JSON格式的数据中提取特定字段。JsonPath是一种类似XPath的查询语言，专门用于JSON数据结构的查询和操作。

核心功能特性

灵活的字段提取：支持从复杂嵌套的JSON结构中提取任意深度的字段
类型转换支持：可以将提取的JSON值转换为指定的数据类型
错误处理机制：提供多种错误处理策略，适应不同业务场景需求
多格式支持：不仅能处理纯JSON字符串，还能处理数组、Map和行数据

配置参数详解

基本配置项

| 参数名称 | 类型 | 必填 | 说明 | |---------|------|------|------| | columns | 数组 | 是 | 定义需要提取的字段配置列表 | | row_error_handle_way | 枚举 | 否 | 行级错误处理方式，默认为FAIL |

columns数组中的字段配置

每个字段配置包含以下属性：

| 参数名称 | 类型 | 必填 | 说明 | |---------|------|------|------| | src_field | 字符串 | 是 | 源数据字段名 | | dest_field | 字符串 | 是 | 输出字段名 | | path | 字符串 | 是 | JsonPath表达式 | | dest_type | 字符串 | 否 | 目标数据类型，默认为String | | column_error_handle_way | 枚举 | 否 | 列级错误处理方式 |

错误处理策略

JsonPath插件提供了细粒度的错误处理机制：

行级错误处理(row_error_handle_way)
- FAIL(默认)：遇到错误抛出异常，终止处理
- SKIP：跳过错误行，继续处理后续数据
列级错误处理(column_error_handle_way)
- FAIL：抛出异常(默认行为)
- SKIP：跳过当前列，填充空值
- SKIP_ROW：跳过整行数据

注意：列级错误处理的优先级高于行级错误处理。

实际应用示例

示例1：从复杂JSON中提取数据

假设我们有如下JSON数据：

{
  "user": {
    "name": "张三",
    "age": 30,
    "address": {
      "city": "北京",
      "district": "海淀区"
    },
    "hobbies": ["阅读", "编程", "旅行"]
  }
}

配置示例：

transform {
  JsonPath {
    columns = [
      {
        "src_field" = "user"
        "path" = "$.user.name"
        "dest_field" = "user_name"
      },
      {
        "src_field" = "user"
        "path" = "$.user.age"
        "dest_field" = "user_age"
        "dest_type" = "int"
      },
      {
        "src_field" = "user"
        "path" = "$.user.address.city"
        "dest_field" = "city"
      },
      {
        "src_field" = "user"
        "path" = "$.user.hobbies"
        "dest_field" = "hobby_list"
        "dest_type" = "array<string>"
      }
    ]
  }
}

示例2：处理嵌套数组数据

对于包含数组的复杂JSON结构：

{
  "orders": [
    {
      "id": 1001,
      "items": [
        {"name": "商品A", "price": 99.9},
        {"name": "商品B", "price": 199.9}
      ]
    }
  ]
}

配置示例：

transform {
  JsonPath {
    columns = [
      {
        "src_field" = "orders"
        "path" = "$.orders[0].id"
        "dest_field" = "order_id"
        "dest_type" = "int"
      },
      {
        "src_field" = "orders"
        "path" = "$.orders[0].items"
        "dest_field" = "order_items"
        "dest_type" = "array<map<string, string>>"
      }
    ]
  }
}