hive解析json字符串函数get_json_object采坑

最新推荐文章于 2025-03-15 14:55:10 发布

西二旗卷饼王

最新推荐文章于 2025-03-15 14:55:10 发布

阅读量1.4w

点赞数 2

CC 4.0 BY-SA版权

分类专栏：数据仓库

本文链接：https://blog.youkuaiyun.com/sky302761277/article/details/84336973

数据仓库专栏收录该内容

4 篇文章

订阅专栏

本文介绍了在使用Hive的get_json_object函数解析JSON字符串时遇到的问题，特别是当JSON字符串中包含以数字为键的Map时出现的解析错误。通过示例展示了正常情况下的正确解析，以及遇到问题时如何使用Java方式来解决，并对问题的原因进行了分析，指出在写入Hive之前，问题源于map<Integer,Object>结构。最后提出了利用UDF（用户定义函数）作为解决此类问题的方法。" 113048747,10536028,利用C++获取第三方软件窗口文本框句柄与数据,"['C++', 'Windows API', '句柄操作', '进程交互', '数据抓取']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、一般字符串解析没问题

如：{"address":{"f1":"","f2":"","f3":36091591,"f4":120374680},"boxTotalPrice":2.0,"channel":"dianping_app_ios_iphone","dp_user_id":26769863,"poiCate":1000,"poi_first_order":true,"shipping_service":1020,"spNewUser":true}

获取poi_first_order值只需：

get_json_object(common_ext, '$.poi_first_order') as poi_first_order

返回值：true

2、二班就有问题了

如：{"address":{"f1":"","f2":"","f3":36113011,"f4":120421781},"appendProduct":{"apPriceInfoMap":{4:{}}},"boxTotalPrice":4.0,"fbNewUser":true,"open_id":"","poiCate":1000,"poi_first_order":true,"shipping_service":1020,"spNewUser":true}

获取poi_first_order值：

    get_json_object(common_ext, '$.poi_first_order') as poi_first_order

返回值：null

3、针对2的问题用java方式解析

代码块

String s = "{\"address\":{\"f1\":\"\",\"f2\":\"\",\"f3\":36130771,\"f4\":120365936},\"appendProduct\":{\"apPriceInfoMap\":{4:{}}},\"boxTotalPrice\":2.0,\"fbNewUser\":true,\"open_id\":\"\",\"poiCate\":1000,\"poi_first_order\":true,\"shipping_service\":1020,\"spNewUser\":true}";
JSONObject jo = JSONObject.parseObject(jsonStr);
return jo.getString(field);

返回值：true

4、原因分析

2中的json字符串：{"address":{"f1":"","f2":"","f3":36113011,"f4":120421781},"appendProduct":{"apPriceInfoMap":{4:{}}},"boxTotalPrice":4.0,"fbNewUser":true,"open_id":"","poiCate":1000,"poi_first_order":true,"shipping_service":1020,"spNewUser":true}

红色字体中包含key为4的情况。

经确认，在写入hive前，这块是一个是一个map<Integer,Object>结构.

5、解决办法

UDF

public String evaluate(String jsonStr, String field) {
        if (StringUtils.isEmpty(jsonStr) || StringUtils.isEmpty(field)) {
            return "null";
        }

        try {
            JSONObject jo = JSONObject.parseObject(jsonStr);
            return jo.getString(field);
        } catch (Exception e) {
            return "null";
        }
    }