hive实现json数组拆解

PAYCHANNELDETAIL表中间字段acquire_type是json格式如下

[{"payAmount":"375000","payChannelCode":"BOC"},{"payAmount":"376000","payChannelCode":"ABC"}]

下面是数据拆解操作

select pay_order_id,tag1,bill_date
from (
select pay_order_id,substr(acquire_type,2,length(acquire_type)-2) tags,bill_date from dd.PAYCHANNELDETAIL
) ta lateral view explode(split(tags, '},')) r1 as tag1
;

查询结果如下:

1603150000007617360 {"payAmount":"375000","payChannelCode":"BOC"} 2016-03-15
1603150000007617360 {"payAmount":"376000","payChannelCode":"ABC"} 2016-03-15


json属性拆解

SELECT
pay_order_id,
get_json_object(subjson,'$.payAmount') as payAmount,
get_json_object(subjson,'$.payChannelCode') as payChannelCode,
bill_date
FROM
dd.PAYCHANNELDETAIL_SUBJSON
### 如何在 Hive 中解析 JSON 数组 #### 使用 `lateral view` 和内置函数解析 JSON 数据 对于复杂结构的数据,特别是当数据JSON 数组的形式存在时,在 Hive 中可以采用多种方法来进行有效解析。一种常见的方式是利用 `lateral view` 结合 `json_tuple` 函数来处理这种类型的输入[^1]。 下面是一个具体的例子展示如何操作: 假设有一个包含英雄信息的 JSON 字符串列表如下所示: ```json [ {"name": "麦林炮手", "feature": "炮退八百"}, {"name": "暗夜猎手", "feature": "暗滚无敌"} ] ``` 为了能够读取并转换上述 JSON 数组中的每一项成为单独的一行记录,可以通过以下 SQL 查询实现这一目标: ```sql WITH json_data AS ( SELECT '[{"name":"麦林炮手","feature":"炮退八百"},{"name":"暗夜猎手","feature":"暗滚无敌"}]' as json_string ) SELECT t.name, t.feature FROM json_data LATERAL VIEW OUTER EXPLODE( SPLIT( REGEXP_REPLACE( REGEXP_REPLACE(json_string,'\\[|\\]', ''), '\\}\\s*,\\s*\\{', '}\t{' ), '\t' ) ) exploded_table AS value LATERAL VIEW json_tuple(exploded_table.value, 'name', 'feature') t; ``` 此脚本首先通过正则表达式去除方括号并将对象之间的逗号替换成制表符(`\t`),接着使用 `SPLIT()` 方法按照该字符分割字符串得到一个数组;最后借助于 `EXPLODE()` 将其展开成多行,并应用 `json_tuple()` 提取出所需的键值对[^3]。 这种方法不仅适用于简单的 JSON 对象集合,也可以扩展到更复杂的场景下完成相应的数据分析任务。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值