hive中的json串和map结构的取数区别

ZhuangYQ丶

于 2021-01-15 17:34:16 发布

阅读量4.4k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大数据学习 Spark MapReduce学习

本文链接：https://blog.youkuaiyun.com/iilegend/article/details/112680481

本文探讨了在Hive中处理JSON字符串与Map结构取数的不同方法。第一种方法是通过正则表达式暴力解析JSON字符串，虽然可行但操作复杂。第二种方法是利用UDF函数将JSON转换为Map<String, String>，简化操作。测试示例展示了如何将JSON字符串转换为Map并直接在查询中使用。需要注意，当JSON中的value为null时，转换后的Map会丢失相应键值对。" 60876148,5678498,自定义MJRefresh下拉刷新动画,"['iOS开发', 'Swift', 'UI设计', '动画效果', '刷新框架']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive中的json串和map结构的取数区别
hive中如果定义的是json串，那么取数据用这种处理：

 get_json_object(params,'$.user_id')

如果是map<string,string>结构，那么取数据这样处理

params['user_id']

那么我们想要统一将json串转成map结构，便于取数方便。这种怎么处理？

第一种方式就是暴力的解析字符串，用正则的方式匹配：

select 
    pt_day,
    uid,point,
    str_to_map(regexp_replace(regexp_replace(regexp_replace(extra_info,'\"',''),'\\{',''),'\\}',''), ',', ':') extra_info

from honeycomb_all_user_point_record
where 
    pt_day = '2018-11-16'

但是这种方式过于暴力，虽然能正确的解析数据，但是使用起来比较麻烦，过于繁琐。
第二种方式就是要用UDF来解决:
这是udf函数的实现，实际上就是将json直接转成Map<String, String> 的格式。

package com.bytedance.udf.game;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONException;
import com.

最低0.47元/天解锁文章

200万优质内容无限畅学