HIVE UDAF和UDTF实现group by后获取top值

最新推荐文章于 2024-10-19 19:10:01 发布

-早起的码农

最新推荐文章于 2024-10-19 19:10:01 发布

阅读量4.9k

点赞数 1

分类专栏： Hive 大数据处理早起的码农文章标签： null string object class iterator exception

本文链接：https://blog.youkuaiyun.com/liuzhoulong/article/details/7789183

版权

早起的码农同时被 3 个专栏收录

11 篇文章 ¥9.90 ¥99.00

订阅专栏

大数据处理

43 篇文章

订阅专栏

Hive

13 篇文章

订阅专栏

这篇博客介绍了如何在Hive中通过自定义UDAF和UDTF实现GROUP BY后获取Top值的功能。首先，自定义了一个名为Top4GroupBy的UDAF，用于统计并返回每个组的前N个最高值，然后通过UDTF ExplodeMap将结果字符串按分隔符切分并转换为多行列表输出。这两个函数可以一起用于获取如landingrefer的前100个top URL。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先自定义一个UDAF,由于udaf是多输入一条输出的聚合，所以结果拼成字符串输出，代码如下：

public class Top4GroupBy extends UDAF {

    //定义一个对象用于存储数据
    public static class State {
        private Map<Text, IntWritable> counts;
        private int limit;

}

    /**
     * 累加数据，判断map的key中是否存在该字符串，如果存在累加，不存在放入map中
     * @param s
     * @param o
     * @param i
     */
    private static void increment(State s, Text o, int i) {
        if (s.counts == null) {
            s.counts = new HashMap<Text, IntWritable>();
        }
        IntWritable count = s.counts.get(o);
        if (count == null