上周在写代码时用到了UDTF函数,数据验证时发现漏掉了一些数据,发现是和Outer关键字有关系,直接说结论:
- 不加Outer关键字,UDTF(比如explode等)所产生的列为空时,原有数据的列不不会展示在结果中;
- 加outer关键字后,原有数据列正常展示,Lateral View中的列展示为空。
具体case如下(测试引擎:Hive/Tez):
1)样例数据
select * from tmp.temp_cs_01;
结果:
dt platform trmnl_tp data_json_array
20240114 MINTEGRAL android
20240114 MINTEGRAL android
20240114 MINTEGRAL android
20240114 MINTEGRAL android
20240114 MINTEGRAL android
20240114 MINTEGRAL android
20240114 MINTEGRAL android
20240114 MINTEGRAL android
20240114 MINTEGRAL android
20240114 MINTEGRAL android
注:/*data_json_array为空json数组*/
2)不带outer关键字
select
a.dt
,a.platform
,a.trmnl_tp
,a.data_json_array
,t.response_rta_id_json
from tmp.temp_cs_01 a
lateral view explode(data_json_array) t AS response_rta_id_json
;
结果:空
3)带outer关键字
select
a.dt
,a.platform
,a.trmnl_tp
,a.data_json_array
,t.response_rta_id_json
from tmp.temp_cs_01 a
lateral view outer explode(data_