hive sql 中lateral view explode/json_tuple的使用

先贴一下hive中get_json_object和json_tuple两个函数的区别：
Hive中提供了两种针对json数据格式解析的函数，即get_json_object（…）与json_tuple(…)，理论不多说，直接上效果示意图：

假设存在如下json数据对象，若使用hive环境可这么设置：

set hivevar:msg={
“message”:”2015/12/08 09:14:4”,
“client”: “10.108.24.253”,
“server”: “passport.suning.com”,
“request”: “POST /ids/needVerifyCode HTTP/1.1”,
“server”: “passport.sing.co”,
“version”:”1”,
“timestamp”:”2015-12-08T01:14:43.273Z”,
“type”:”B2C”,”center”:”JSZC”,
“system”:”WAF”,”clientip”:”192.168.61.4”,
“host”:”wafprdweb03”,
“path”:”/usr/local/logs/waf.error.log”,
“redis”:”192.168.24.46”}

get_json_object函数
当使用get_json_object函数时，则可以这么用：

select get_json_object(‘${hivevar:msg}’,’$.server’) from test;
返回：

passport.sing.com
其中，get_json_object函数第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；

json_tuple函数
当使用json_tuple对象时，可以显著提高效率，一次获取多个对象并且可以被组合使用，写法如下：
select a.* from test lateral view json_tuple(‘${hivevar:msg}’,’server’,’host’) a as f1,f2;
返回：

passport.sing.com wafprdweb03
其中，需要使用lateral view 视图方法来写，不需要加$标示符读取对象，获取的f1,f2对象可用于array()或map()等函数使用

以下是正文：

我有一个表tab1，表有两个字段sub_id, sub_sku_info，表中有一条数据如下：
（注：第二个字段比较长，但这确实是一个字符串，请不要被换行欺骗）：

sub_id : 101
sub_sku_info : 
[{"skuId":"1017570","num":"2","price":5.8,"jd_price":23.9,"sale_price":5.8},{"skuId":"1329431","num":"1","price":38.38,"jd_price":59,"sale_price":36.84},{"skuId":"1381473","num":"1","price":8.5,"jd_price":39.8,"sale_price":8.5}]

让我们逐步来拆解这条数据：
1、将sub_sku_info中的“列表”拆成三行：

select sub_id, sku_info
from tab1
lateral view explode(split(substr(sub_sku_info, 2, length(sub_sku_info) - 2), '},')) aa as sku_info;

结果：

2、补全每一行记录，为第三步拆分做准备：

select t.sub_id, case when substr(t.sku_info, length(t.sku_info), 1) = '}' then t.sku_info else concat(t.sku_info, '}') end as sku_info
from (
select sub_id, sku_info
from tab1
lateral view explode(split(substr(sub_sku_info, 2, length(sub_sku_info) - 2), '},')) aa as sku_info) t;

结果：

3、将每一行的“字典”拆分成对应字段：

select m.sub_id, skuid, num, price, jd_price, sale_price
from (
select t.sub_id, case when substr(t.sku_info, length(t.sku_info), 1) = '}' then t.sku_info else concat(t.sku_info, '}') end as sku_info
from (
select sub_id, sku_info
from tab1
lateral view explode(split(substr(sub_sku_info, 2, length(sub_sku_info) - 2), '},')) aa as sku_info) t) m 
lateral view json_tuple(m.sku_info, 'skuId', 'num', 'price', 'jd_price', 'sale_price') aa as skuid, num, price, jd_price, sale_price;

结果：

拆解完成。