HiveUDAF的实现----一个示例_hive3.1.2 udaf-优快云博客

本文链接：https://blog.youkuaiyun.com/QenXX/article/details/118311960

本文详细介绍了如何实现Hive的用户自定义聚合函数（UDAF），包括添加jar包依赖、继承AbstractGenericUDAFResolver并重写相关方法，以及在Spark引擎中的应用。通过一个示例，展示了从数据初始化、迭代、分区结果聚合到最终结果的过程，强调了不同Mode下方法的调用及类型检查的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HiveUDAF的实现

1.添加jar包依赖

 <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>3.1.2</version>
    </dependency>

2.继承AbstractGenericUDAFResolver类

2.1 重写getEvaluator(GenericUDAFParameterInfo info)方法

该方法的参数是参数类型的信息，通过 getParameters方法返回一个参数类型的数组，数组中数据的顺序与参数的顺序一致。

TypeInfo[] parameters = info.getParameters();

通过对该数组的长度进行判断，检查参数的数量是否符合要求。

if(parameters.length !=1){
   
            throw new UDFArgumentTypeException(parameters.length-1,"只接受一个String类型参数");
        }

通过对该数组指定位置参数的类型进行判断，检查参数的类型是否是基本数据类型。

if(parameters[0].getCategory()!= ObjectInspector.Category.PRIMITIVE){
   
            throw new UDFArgumentTypeException(0,"只接受一个String类型参数");
        }

如果是基本数据类型，进行检查是否为所需的类型如String

if(((PrimitiveTypeInfo)parameters[0]).getPrimitiveCategory()!=
                PrimitiveObjectInspector.PrimitiveCategory.STRING){
   
            throw new UDFArgumentTypeException(0,"只接受一个String类型参数");
        }