hive UDAF详解

最新推荐文章于 2025-05-29 23:38:09 发布

Nougats

最新推荐文章于 2025-05-29 23:38:09 发布

阅读量2.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： hive hadoop 文章标签： hive hadoop

本文链接：https://blog.youkuaiyun.com/Nougats/article/details/71978752

本文详细介绍了Hive中的User Defined Aggregation Function（UDAF），包括两种实现方式：简单实现和通用实现。简单实现利用UDAF和UDAFEvaluator，而通用实现通过GenericUDAFResolver2和GenericUDAFEvaluator提供更全面的功能。UDAF的运行流程分为四个阶段：PARTIAL1、PARTIAL2、FINAL和COMPLETE，涉及init、iterate、terminatePartial、merge和terminate等方法的调用。在实现过程中，需要注意init方法的初始化、iterate方法的数据处理、terminatePartial方法的中间结果持久化以及merge和terminate方法的聚合操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

User Defined Aggregation Funcation
用户自定义聚类方法，和group by联合使用
接受多个输入数据行，并产生一个输出数据行
（顺带一句，UDTF (user-defined table-generating function)
用户定义表生成函数，操作作用于单个数据行，且产生多个数据行）

两种实现

hive有两种UDAF：简单和通用
简单，利用抽象类UDAF和UDAFEvaluator，使用Java反射导致性能损失，且有些特性不能使用，如可变长度参数列表
通用，利用接口GenericUDAFResolver2（或者抽象类AbstractGenericUDAFResolver）和抽象类GenericUDAFEvaluator，可以使用所有功能，但比较复杂，不直观

简单方式实现

UDAF的运行流程

PARTIAL1：原始数据到部分聚合，调用iterate和terminatePartial –> map阶段
PARTIAL2: 部分聚合到部分聚合，调用merge和terminatePartial –> combine阶段
FINAL: 部分聚合到完全聚合，调用merge和terminate –> reduce阶段
COMPLETE: 从原始数据直接到完全聚合 –> map阶段，并且没有reduce

实现

需要继承org.apache.hadoop.hive.ql.exec.UDAF类
内部类Evaluator实现org.apache.hadoop.hive.ql.exec.UDAFEvaluator接口，主要实现init、iterate、terminatePartial、merge、terminate这几个方法