json数组解析的两种形式-hive

huobumingbai1234

已于 2022-06-01 20:41:22 修改

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： hive 阿里云文章标签： hive json数组 UDTF LATERAL VIEW

于 2018-12-29 23:28:32 首次发布

本文链接：https://blog.youkuaiyun.com/huobumingbai1234/article/details/85346194

hive 同时被 2 个专栏收录

26 篇文章

订阅专栏

阿里云

13 篇文章

订阅专栏

本文介绍了解析JSON数组的两种方法：使用UDTF函数和复杂函数。UDTF适用于仅需解析特定字段的情况，而复杂函数允许与原始数据关联，适用于需要同时获取JSON数组和其他字段数据的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单个json我们很容易的可以用get_json_object进行解析，json数组就需要用复杂的方式了

1、可以用UDTF，这个是阿里云环境下小伙伴帮忙写的，但是这个不能和原数据进行关联，就是只能取这一个字段

import com.aliyun.odps.udf.UDFException;
import com.aliyun.odps.udf.UDTF;
import com.aliyun.odps.udf.annotation.Resolve;
import com.google.gson.JsonArray;
import com.google.gson.JsonElement;
import com.google.gson.JsonParser;

/**
 * sql试例
 * parse_json_log(body) as()
 */
@Resolve("string->string")
public class ParseJsonArray extends UDTF {
    @Override
    public void process(Object[] objects) throws UDFException {
        String input = (String) objects[0];
        JsonParser parser = new JsonParser();
        JsonArray jsonArray = parser.parse(input).getAsJsonArray();
        for (int i = 0; i < jsonArray.size(); i++) {
            JsonElement jsonObj = jsonArray.get(i);
            forward(jsonObj.getAsJsonObject().toString());
        }
    }
}

2、用复杂的函数取出来，report是我的json数组字段，这样救能和别的字段连接起来一起取出来

注意：where条件要写到LATERAL VIEW之后，[ 要通过转义符替换

select 
        identify_id
        ,get_json_object(concat('{',report_1,'}'),'$.reportId') as reportId
        ,get_json_object(concat('{',report_1,'}'),'$.title') as title
        ,get_json_object(concat('{',report_1,'}'),'$.isSelect') as isSelect
		,dt
from 	ods_trd_du_identify
LATERAL VIEW 
explode(split(regexp_replace(regexp_replace(report,'\\[\\{',''),'}]',''),'},\\{')) report as report_1
where    ...