HIVE UDAF 中的map对象及reduce对象(GenericUDAFEvaluator)

最新推荐文章于 2025-04-08 16:02:45 发布
原创 最新推荐文章于 2025-04-08 16:02:45 发布 · 823 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细解析了Hive UDAF中的Reducer工作流程，包括同一个Reducer在不同阶段的状态变化及其处理多个key的过程，同时介绍了Mapper级别的buffer处理方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

同一个reducer在HIVE UDAF中的buffer始终是一个对象，调用顺序是
new==>init==>reset==>merge==>merge==>merge==>terminate    merge的个数，是有多少个mapper用了同一个key。一次循环处理一个key。
reset==>merge==>merge==>merge==>terminate
reset==>merge==>merge==>merge==>terminate
reset==>merge==>merge==>merge==>terminate
。。。
同一个mapper 在HIVE UDAF中的buffer ，一个key使用同一个buffer对象对象，
new==>init==>iterate==>terminate  一次循环处理一个key
new==>init==>iterate==>terminate
new==>init==>iterate==>terminate
new==>init==>iterate==>terminate
深入理解 Hive UDAF
SmartSi
11-21 1474
用户自定义聚合函数(UDAF)支持用户自行开发聚合函数完成业务逻辑。从实现上来看 Hive 有两种创建 UDAF 的方式，第一种是 Simple 方式，第二种是 Generic 方式。} }AbstractGenericUDAFResolver 提供了一种简单的方法将以前实现 GenericUDAFResolver 接口的 UDAF 迁移到 GenericUDAFResolver2 接口上。
hive udaf_hive UDAF开发和运行全过程
weixin_36154762的博客
12-31 340
介绍hive的用户自定义聚合函数(UDAF)是一个很好的功能，集成了先进的数据处理。hive有两种UDAF：简单和通用。顾名思义，简单的UDAF，写的相当简单的，但因为使用Java反射导致性能损失，而且有些特性不能使用，如可变长度参数列表。通用UDAF可以使用​​所有功能，但是UDAF就写的比较复杂，不直观。本文只介绍通用UDAF。UDAF是需要在hive的sql语句和group by联合使用，h...
Hive UDAF collect_map
qq_37771475的博客
08-16 1484
Hive UDAF collect_map collect_map(x,y)：Returns a map of entries formed by taking x as the key and y as the value. Groups with duplicate keys will contain one entry. the value of the entry in indeterminat. 返回以x为键，y为值形成的map。具有重复key的组将只包含一个条目，其值是不确定的。...
hive UDAF函数
scott的专栏
06-25 1305
package com.ymdd;      import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.parse.SemanticExcep
Hive UDAF开发--个人补充理解
w124374860的专栏
07-12 3741
总结 hive的比较难的部分应该就是GenericUDAF，看了两天终于看明白了，有些点是我自己遇到卡住的点，记录下来希望对大家有所帮助。 一开始看的是《Hive 编程指南》中关于GenericUDAF的章节，例子有点难了。讲的是group_concat的实现。查了资料后觉得网上写的博客非常好，例子比较简单，更能够明白到底在说什么。 一定要结合MapReduce的过程来看，才会想明白。 参...
hive自定义UDAF函数
weixin_45067310的博客
09-28 971
hive自定义UDAF函数 函数类需要继承UDAF类，内部类Evaluator实UDAFEvaluator接口。 Evaluator需要实现 init、iterate、terminatePartial、merge、terminate这几个函数。 a）init函数实现接口UDAFEvaluator的init函数。 b）iterate接收传入的参数，并进行内部的轮转。其返回类型为boolean。 c）terminatePartial无参数，其为iterate函数轮转结束后，返回轮转数据，termi
hive udaf_hive udaf开发入门和运行过程详解
weixin_36084613的博客
12-23 372
介绍hive的用户自定义聚合函数(UDAF)是一个很好的功能，集成了先进的数据处理。hive有两种UDAF：简单和通用。顾名思义，简单的UDAF，写的相当简单的，但因为使用Java反射导致性能损失，而且有些特性不能使用，如可变长度参数列表。通用UDAF可以使用​​所有功能，但是UDAF就写的比较复杂，不直观。本文只介绍通用UDAF。UDAF是需要在hive的sql语句和group by联合使用，h...
Hive深入浅出UDAF
进击的数据小白
12-08 5257
上一篇我们讲解了基本UDF的编写，这一节我们来看下UDAF[User Defined Aggregation Functions]，自定义聚合函数，用来处理输入多行，输出一行的操作，类似MapReduce中Reduce操作。UDAF是需要在hive的sql语句和group by联合使用，hive的group by对于每个分组，只能返回一条记录。 概述 Hive是构建在Hadoop上的数据仓库，我们的sql语句最终都是要变成Mapreduce函数，只不过hive已经帮助我们写好并隐藏mapreduce ，.
hive UDAF详解
Nougats的博客
05-14 2738
User Defined Aggregation Funcation 用户自定义聚类方法 需要继承org.apache.hadoop.hive.ql.exec.UDAF类 内部类Evaluator实现org.apache.hadoop.hive.ql.exec.UDAFEvaluator接口，主要实现init、iterate、terminatePartial、merge、terminate这几
hive udaf详解
moxuqiang_dm的博客
08-10 4946
原理UDAF函数，简单地理解就是多行输入一行输出，其实就是一个聚合的过程，但聚合的过程可以在mapreduce任务中的多个地方可以实现，要了解UDAF的过程还需要清楚mapreduce的模型，请看下图详解聚合的过程在上述的图中，可以发生在map阶段，可以发生在local combie阶段，也可以发生在reduce阶段，不同阶段的聚合需要不同的实现函数，在源码里也表现定义抽象类：GenericUDAF
HIVE在UDAF中使用TreeMap的问题
cakecc2008的专栏
11-22 381
由于业务需要，编写了一个自定义的聚合函数，实现一个自定义的累加器。 因为其中vlues需要排序，所以就使用了一个TreeMap，根据模板及《hadoop权威指南》中的说明，merge()方法，接受一个对象作为输入。这个对象的类型必须和terminatePartial()方法的返回类型一致。 我的代码片段如下： private TreeMap<Long,ArrayList<Lon...
hive学习笔记之十：用户自定义聚合函数(UDAF)，区区一个SpringBoot问题就被干趴下了
m0_64867047的博客
12-26 760
合并值缓冲区大小，这里是用来保存字符串长度，因此设为4byte @return */ @Override public int estimate() { return JavaDataModel.PRIMITIVES1; } } 新建FieldLengthUDAFEvaluator.java，里面是整个UDAF逻辑实现，关键代码已经添加了注释，请结合前面的图片来理解，核心思路是iterate将当前分组的字段处理完毕，merger把分散的数据合并起来，再由terminate决定当前分组计算结果：..
Hive高级查询：使用UDAF实现复杂聚合运算
最新发布
erliu1995的博客
04-08 417
在实际业务场景中，仅依靠Hive内置的聚合函数，如SUM、COUNT、AVG等，往往难以满足复杂的数据处理需求。用户定义聚合函数（User - Defined Aggregation Function，UDAF）的出现，赋予了Hive更强大的计算能力，使其能够应对各类复杂聚合运算。例如，在电商数据分析中，计算商品的加权平均评分，普通聚合函数无法直接实现，而UDAF能够通过自定义逻辑达成这一目标。例如，在计算中位数时，可采用更优化的排序算法或近似计算方法，提高计算速度，减少资源消耗。
hvie:UDAF开发指南
不花的花和尚的博客
02-29 560
refer to:http://www.cnblogs.com/ggjucheng/archive/2013/02/01/2888051.html 在用Hive进行ETL的时候，对于一些复杂的数据处理逻辑，往往不能用简单的HQL来解决，这个时候就需要使用UDAF了。 对于底层的内容还没有细看，先从应用的角度来说一下吧。 使用UDAF需要实现接口GenericUDAFResolve...
Hive自定义函数(UDF、UDAF)
吃果冻不吐果冻皮
07-21 2万+
当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数。UDF用户自定义函数（user defined function)–针对单条记录。 创建函数流程 1、自定义一个Java类 2、继承UDF类 3、重写evaluate方法 4、打成jar包 6、在hive执行add jar方法 7、在hive执行创建模板函数 8、hql中使用Demo01: 自定义
HIVE自定义UDAF函数
weixin_46429290的博客
08-31 2453
/ 确定各个阶段输入输出参数的数据格式ObjectInspectors public ObjectInspector init(Mode m , ObjectInspector [ ] parameters) throws HiveException;// 保存数据聚集结果的类 abstract AggregationBuffer getNewAggregationBuffer() throws HiveException;...
复杂Map遍历
Mrzhang__的专栏
09-12 494
其中的逻辑处理不用理会Map<Map<String, String>, List<String>> mapString = new HashMap<Map<String, String>, List<String>>(); JSONArray array = JSONArray.parseArray(coTypes.getColumnname()); for (int
hive操作·自定义聚合函数udaf
concealed0的博客
08-08 911
自定义UDAF操作 自定义类需要继承AbstractGenericUDAFResolver类，或者实现GenericUDAFResolver2的接口，AbstractGenericUDAFResolver类本身也是实现GenericUDAFResolver2的接口，主要作用是实现参数类型检查和操作符重载 1、自定义类中需要根据需求重写 public GenericUDAFEvaluator...
Hive UDAF开发详解
热门推荐
没事看看书
11-30 2万+
说明 这篇文章是来自Hadoop Hive UDAF Tutorial - Extending Hive with Aggregation Functions：的不严格翻译，因为翻译的文章示例写得比较通俗易懂，此外，我把自己对于Hive的UDAF理解穿插到文章里面。 udfa是hive中用户自定义的聚集函数，hive内置UDAF函数包括有sum()与count（），UDAF实现有简单与通用
深入探索Hive数据仓库及SQL与自定义函数应用
UDF和UDAF在Hive中经常被用于实现复杂的业务逻辑，使得Hive的查询能力大大增强。 4. Hive参数详解： Hive参数用于控制Hive的行为和性能，主要可以分为系统级别参数和会话级别参数。系统级别参数控制整个Hive实例的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值