Hive UDF初探

浅唱书令

已于 2023-06-01 10:56:13 修改

阅读量107

点赞数

分类专栏：大数据见微文章标签： hive hadoop 数据仓库大数据

于 2016-05-05 18:03:00 首次发布

版权

39 篇文章 ¥19.90 ¥99.00

订阅专栏

本文介绍了在Hive中为解决广告日志曝光PV计算问题，如何创建UDF来判断字段是否有标签。内容涵盖UDF的基本类型，如UDF、UDAF和UDTF，以及如何实现一个判断空标签的GenericUDF，并提供了编译和添加到Hive的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 引言

在前一篇中，解决了Hive表中复杂数据结构平铺化以导入Kylin的问题，但是平铺之后计算广告日志的曝光PV是翻倍的，因为一个用户对应于多个标签。所以，为了计算曝光PV，我们得另外创建视图。

分析需求：

相当于cube(dsp, tag) + measure(pv)，HiveQL如下：

select dsp, tag, count(*) as pv
from ad_view
where view = 'view' and day_time between '2016-04-18' and '2016-04-24'
group by dsp, tag with cube;

现在问题来了：如何将原始表中的tags array<struct<tag:string,label:string,src:string&

了解本专栏