Hive+UDAF简单示例

最新推荐文章于 2022-04-02 09:59:50 发布

wangzhun0129

最新推荐文章于 2022-04-02 09:59:50 发布

阅读量2.9k

点赞数

分类专栏： Hadoop/Hive/HBase 文章标签： Hive UDAF Java

本文链接：https://blog.youkuaiyun.com/wangzhun0129/article/details/17008279

版权

这篇博文展示了如何利用Hive的UDAF(用户自定义聚合函数)来完成总分计算。首先，详细介绍了如何编写UDAF，然后演示了如何编译Java代码并打包成jar文件。最后，说明了在Hive中如何调用这个临时函数执行查询以获取结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在之前的一篇博文中,演示了一个使用通用UDTF来计算总分的小示例,下面用UDAF来做这个工作。

1.编写UDAF。

package com.wz.udf;

import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
import org.apache.hadoop.io.Text;
import java.util.HashMap;
import java.util.Map;
public class helloUDAF extends UDAF {
    public static class Evaluator implements UDAFEvaluator
    {
       //存放不同学生的总分
       private static Map<String,Integer> ret;

       public Evaluator()
       {
	   super();
           init();
       }

       //初始化
       public void init()
       {
	  ret = new HashMap<String,Integer>();
       }

       //map阶段，遍历所有记录
       public boolean iterate(String strStudent,int nScore)
       { 
         if(ret.containsKey(strStudent))
         {
            int nValue = ret.get(strStudent);
            nValue +=nScore;
            ret.put(strStudent,nValue);
         }
         e

最低0.47元/天解锁文章