Apache SeaTunnel中的JSONPath转换插件详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00646/article/details/148443317

Apache SeaTunnel中的JSONPath转换插件详解

seatunnel SeaTunnel is a next-generation super high-performance, distributed, massive data integration tool. 项目地址: https://gitcode.com/gh_mirrors/sea/seatunnel

什么是JSONPath

JSONPath是一种用于从JSON文档中提取数据的查询语言，类似于XPath对于XML文档的作用。它提供了一种简洁明了的方式来定位和提取JSON结构中的特定元素。

JSONPath转换插件概述

Apache SeaTunnel的JSONPath转换插件允许用户从复杂的JSON结构中提取特定字段，并将其转换为目标格式。这个功能在数据处理流程中非常有用，特别是当处理来自API响应、日志文件或其他JSON格式数据源时。

核心功能特性

多数据类型支持：可以处理STRING、BYTES、ARRAY、MAP和ROW等多种SeaTunnel数据类型
类型转换能力：支持将提取的数据转换为指定的目标类型
复杂路径查询：支持完整的JSONPath语法，能够处理嵌套的JSON结构
灵活配置：可以同时提取多个字段并重命名输出字段

插件配置详解

基本配置参数

| 参数名 | 类型 | 是否必需 | 说明 | |-------|------|---------|------| | Columns | Array | 是 | 定义需要提取的字段配置数组 |

字段配置参数

每个字段配置包含以下属性：

| 参数名 | 类型 | 是否必需 | 默认值 | 说明 | |-------|------|---------|--------|------| | src_field | String | 是 | - | 源JSON字段名 | | dest_field | String | 是 | - | 输出字段名 | | path | String | 是 | - | JSONPath表达式 | | dest_type | String | 否 | String | 目标字段的数据类型 |

使用场景示例

场景一：处理复杂JSON结构

假设我们有以下JSON数据：

{
  "user": {
    "id": 12345,
    "profile": {
      "name": "张三",
      "age": 30,
      "address": {
        "city": "北京",
        "district": "海淀区"
      }
    },
    "preferences": ["阅读", "音乐", "运动"]
  }
}

我们可以使用JSONPath插件提取嵌套数据：

transform {
  JsonPath {
    columns = [
      {
        "src_field" = "user"
        "path" = "$.user.profile.name"
        "dest_field" = "user_name"
      },
      {
        "src_field" = "user"
        "path" = "$.user.profile.address.city"
        "dest_field" = "city"
      },
      {
        "src_field" = "user"
        "path" = "$.user.preferences[0]"
        "dest_field" = "primary_preference"
      }
    ]
  }
}

场景二：处理数组类型数据

对于包含数组的数据：

{
  "orders": [
    {"id": 1, "amount": 100.50},
    {"id": 2, "amount": 200.75},
    {"id": 3, "amount": 150.25}
  ]
}

可以这样提取特定元素：

transform {
  JsonPath {
    columns = [
      {
        "src_field" = "orders"
        "path" = "$.orders[0].amount"
        "dest_field" = "first_order_amount"
        "dest_type" = "double"
      },
      {
        "src_field" = "orders"
        "path" = "$.orders[*].id"
        "dest_field" = "all_order_ids"
        "dest_type" = "array<int>"
      }
    ]
  }
}