Lateral View explode加和不加Outer的区别

原创 已于 2024-01-15 21:46:10 修改 · 672 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #大数据

于 2024-01-15 21:43:04 首次发布
上周在写代码时用到了UDTF函数，数据验证时发现漏掉了一些数据，发现是和Outer关键字有关系，直接说结论：
  • 不加Outer关键字，UDTF(比如explode等)所产生的列为空时，原有数据的列不不会展示在结果中；
  • 加outer关键字后，原有数据列正常展示，Lateral View中的列展示为空。

具体case如下(测试引擎:Hive/Tez)：

1)样例数据
select * from tmp.temp_cs_01;

结果：
dt       platform	trmnl_tp	data_json_array	
20240114 MINTEGRAL	android		
20240114 MINTEGRAL	android		
20240114 MINTEGRAL	android		
20240114 MINTEGRAL	android		
20240114 MINTEGRAL	android		
20240114 MINTEGRAL	android		
20240114 MINTEGRAL	android		
20240114 MINTEGRAL	android		
20240114 MINTEGRAL	android		
20240114 MINTEGRAL	android	

注：/*data_json_array为空json数组*/

2）不带outer关键字
select 
 a.dt
,a.platform
,a.trmnl_tp
,a.data_json_array
,t.response_rta_id_json
from tmp.temp_cs_01 a
lateral view explode(data_json_array) t AS response_rta_id_json
;

结果：空

3)带outer关键字
select 
 a.dt
,a.platform
,a.trmnl_tp
,a.data_json_array
,t.response_rta_id_json
from tmp.temp_cs_01 a
lateral view outer explode(data_
最低0.47元/天 解锁文章
Hive SQL 精进系列：一行变多行的 LATERAL VIEW EXPLODE
进一步有进一步的欢喜~
03-15 1710
当处理复杂数据结构时，例如数组和映射类型的数据，普通的 SQL 操作可能无法满足需求。而 `LATERAL VIEW EXPLODE` 这一组合功能就成为了解决这类问题的强大工具。本文将深入探讨 `LATERAL VIEW EXPLODE` 的原理、语法、使用场景，并通过丰富的案例来更好地理解帮掌握这一工具。
Hive SQL 之 `LATERAL VIEW EXPLODE` 的正确打开方式
进一步有进一步的欢喜~
12-24 2435
一文搞懂LATERAL VIEW EXPLODE
【hive Lateral View explode 详解】—— 大白话讲解 explode 和 Lateral View的关系。
摇光是颗星
12-09 2415
hello，我是摇光~之前一直对 Lateral View 有点误解，现在终于搞懂了。用大白话给大家讲解一下这是啥？
【hive】行转列—explode()/posexplode()/lateral view 函数使用场景
sodaloveer的博客
09-13 5231
【hive】行转列—explode()/posexplode()/lateral view 函数使用场景
Hive的lateral view [outer] explode()教程（好文收藏）
weixin_45857425的博客
06-15 7110
写在前面的话，hive的lateral view explode(map/array)函数，常常用于日常的代码中。本篇主要讲解被忽略的outer的作用。 ===lateral view 与 lateral view outer的区别 两者的区别: 主要就是当explode函数里传入的数据是否为null,lateral view explode(null) temp as id 时,结果不显示任何数据**(注意是指其他字段的数据也不返回**); lateral view outer explode(null)
LATERAL VIEW EXPLODE与LATERAL VIEW OUTER EXPLODE的区别
chinacmt的博客
01-13 771
LATERAL VIEW EXPLODE与LATERAL VIEW OUTER EXPLODE的区别。
Hive 连续多次 lateral view explode 踩坑
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
07-30 2354
table1表结构: c1 c2arr c3arr c4arr select c1, c2arr_item, c3arr_item, c4arr_item from table1 lateral view explode(c2arr)c2arr_table asc2arr_item lateral view explode(c3arr)c3arr_table asc3arr_item lateral view explode(c4arr)c4ar...
你真的了解Lateral View explode吗？--源码复盘
xiaoluobutou的专栏
02-10 567
那问题来了？Lateral view explode 会产生shuffle吗？当然不会，毋庸置疑！其实一开始看执行计划就会发现，没有reduce任务呀~~这里的Join代表的是两份数据联接到一起的意思，并不是真正的意义上的join。另外，还有一点：大家要注意 加outer和不加outer的区别，在日常工作一定要注意，切记切记！不要丢了数据，还不知道为啥。
Hive SQL中的lateral view explode使用记录
Miracle.Zhao的博客
08-20 4514
Hive SQL中的lateral view explode使用记录
LATERAL VIEW EXPLODE函数详解及应用
Nice的博客
10-31 9095
在进行统计分析的时候有时候会有类似这样的需求 比如求某个平台某一天所有的订单总和，或者淘宝所有pc 端的交易总和，这个时候我们可以基于原本基础的数据进行炸裂处理之后得出结结果值，方便后续进行查询，这种提前进行预聚合的思想长用于即席查询分析的场景中，比如为了适用于某张报表的多条件查询可以采用此种方式结合预聚合的方式进行操作。
SQL Lateral View EXPLODE
chbxw
05-10 759
sql lateral view
列转行-lateral view explode列转行
thenowaiting的专栏
09-05 701
现有骑手id,订单id列表，订单配送距离列表，配送费列表，其中订单id、配送距离、配送费一一对应。 二、函数介绍 explode split 三、列转行 将骑手及其订单转换成订单粒度，每单一行记录。期望结果 1、解决方案 先将字符串通过split函数转换成array，然后使用explode炸开，即可得到最终结果。 执行结果 2、注意 由于我们使用了lateral view横向视图与explode结合炸裂，我们会发现 骑手r004因为其order_list为空没有出现在最终结果中。原因为在explode处
hive lateral view 与 explode详解
xuhualei88的专栏
04-17 741
1.explode Then running the query: SELECT explode(myCol) AS myNewCol FROM myTable;11 will produce:    The usage with Maps is similar: SELECT explode(myMap) AS (myMapKey, myMapValue) FROM
Hive 中的爆炸函数（ lateral view 与 explode 用法）
qq_38603049的博客
08-25 6303
hive中的爆炸函数（ lateral view 与 explode详解），本篇文章主要针对实际应用中的情况，进行讲解
Hive SQL中的列转行（lateral view与explode）、行转列
weixin_49709859的博客
01-30 1万+
列转行、行转列的灵活运用
hivesql之lateral view explode遇到记录为空情况
C_time的博客
11-29 3348
在正常解析一个有值的字符串时，用lateral view explode是完全ok的，但是，当遇到该字符串为空时，如果在使用该函数，就会导致该条记录消失。这时候需要加个outer lateral view outer explode ...
【Hive SQL】Hive Sql 列转行（lateral view 与 explode 、posexplode）详解
qq_34446614的博客
06-21 1490
将hive某列一行中复杂的 array 或 map 结构拆分成多行（只能输入array或map）。通常，explode函数会与lateral view一起结合使用;
Hive SQL中的 lateral view 与 explode（列转行）以及行转列
热门推荐
积一时之步，臻千里之遥程
03-28 5万+
文章目录一、列转行Explode炸裂函数posexplode()函数Lateral View例子1例子2例子3例子4——多列炸裂 Posexplode例子5二、行转列例子1例子2 一、列转行 行转列：将多个列中的数据在一列中输出 列转行：将某列一行中的数据拆分成多行 Explode炸裂函数 将hive某列一行中复杂的 array 或 map 结构拆分成多行（只能输入array或map） 语法 explode(col) select explode(arraycol) as newcol from tabl
hive中的爆炸函数（ lateral view 与 explode详解）
XIAOMO__的博客
11-16 1万+
explode就是将hive一行中复杂的array或者map结构拆分成多行。 lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。 explode将复杂结构一行拆成多行，然后再用lateral view做各种聚合。 例： select * from t
lateral view outer explode
最新发布
07-22
在 Hive SQL 中，`LATERAL VIEW OUTER EXPLODE` 是一种用于处理数组或 Map 类型数据的函数，常用于将一行数据中的集合类型字段展开为多行。与普通的 `LATERAL VIEW EXPLODE` 不同，`OUTER` 修饰符确保即使输入集合为空或为 NULL，也会保留原始行，避免数据丢失。 ### 使用语法 ```sql SELECT <columns>, <alias>.<col1>, <alias>.<col2> FROM <table> LATERAL VIEW [OUTER] explode(<array_or_map_col>) <alias> AS <col1>[, <col2>] ``` - `explode(<array_or_map_col>)`: 将数组或 Map 类型的列展开为多个行。 - `LATERAL VIEW OUTER`: 即使 `explode()` 的输入为空或 NULL，也保留原始行。 - `<alias>`: 为生成的虚拟表命名。 - `AS <col1>[, <col2>]`: 定义展开后输出的列名。如果是 Map 类型，`col1` 表示 key，`col2` 表示 value。 ### 示例 假设存在一张表 `students`，其数据如下： | name | subjects | |-------|------------------------| | Alice | ["Math", "Science"] | | Bob | ["History"] | | Carol | NULL | #### 使用 `LATERAL VIEW EXPLODE` ```sql SELECT name, subject FROM students LATERAL VIEW explode(subjects) exploded_table AS subject; ``` 结果： | name | subject | |-------|-----------| | Alice | Math | | Alice | Science | | Bob | History | 注意：`Carol` 的 `subjects` 是 `NULL`，因此在结果中不会出现她的记录。 #### 使用 `LATERAL VIEW OUTER EXPLODE` ```sql SELECT name, subject FROM students LATERAL VIEW OUTER explode(subjects) exploded_table AS subject; ``` 结果： | name | subject | |-------|-----------| | Alice | Math | | Alice | Science | | Bob | History | | Carol | NULL | 可以看到，`Carol` 的记录也被保留，只是 `subject` 为 `NULL`。 ### 与 `posexplode` 的区别 `posexplode()` 除了展开数组外，还会返回元素的索引位置。例如： ```sql SELECT name, pos, subject FROM students LATERAL VIEW posexplode(subjects) exploded_table AS pos, subject; ``` 结果： | name | pos | subject | |-------|-----|-----------| | Alice | 0 | Math | | Alice | 1 | Science | | Bob | 0 | History | ### 适用场景 - **数据展开**：当需要将数组或 Map 类型的字段展开为多行时，使用 `LATERAL VIEW EXPLODE`。 - **保留空值**：当输入字段可能为 `NULL` 或空数组时，使用 `LATERAL VIEW OUTER EXPLODE` 以避免数据丢失。 - **获取索引**：如果需要数组元素的索引信息，使用 `posexplode()`。 ### 注意事项 - `LATERAL VIEW` 必须与 UDTF（用户定义的表生成函数）一起使用，如 `explode()`、`posexplode()`。 - 在 `LATERAL VIEW` 中，`AS` 后的列名必须与函数返回的列数一致。 - `LATERAL VIEW OUTER` 保证即使 `explode()` 没有返回结果，原始行仍然保留在结果集中。 ### 总结 `LATERAL VIEW OUTER EXPLODE` 是 Hive SQL 中处理集合类型数据的重要工具，尤其适用于需要保留空值的场景。通过 `OUTER` 修饰符，确保即使输入为空或 `NULL`，原始行也不会被过滤掉，从而保证数据完整性[^2]。 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值