Hive-行转列（explode）

最新推荐文章于 2024-03-15 16:02:32 发布

weixin_30433075

最新推荐文章于 2024-03-15 16:02:32 发布

阅读量155

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/EnzoDin/p/10603003.html

本文介绍如何在Hive中正确使用UDTF进行数据解析。通过实例演示了使用parseHtmlUDF解析HTML字符串，并利用LateralView解决UDTF不能直接在SELECT外使用的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

场景：通过parseHtml UDF解析一串HTML，返回一以 @@ 分割的字符串，使用split分割字符串进数组中，然后将数组的元素转列。

开始的写法

SELECT
id,
legal_person,
explode(split(parseHtml(legal_person_track_record),'@@')) as record,
amac_status
FROM db_amac.dc_amac_manager limit 10;

--问题
FAILED: SemanticException [Error 10081]: UDTF's are not supported outside the SELECT clause, nor nested in expressions

解决

select
id,
legal_person,
record,
amac_status
from db_amac.dc_amac_manager lateral view explode(split(parseHtml(legal_person_track_record),'@@')) recordTable as record;

Lateral View是Hive中提供给UDTF的conjunction，它可以解决UDTF不能添加额外的select列的问题。

转载于:https://www.cnblogs.com/EnzoDin/p/10603003.html