udaf实例

xiaokang06

于 2016-09-29 16:23:27 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：数据库文章标签： hive

本文链接：https://blog.youkuaiyun.com/xiaokang06/article/details/52702937

本文记录了作者在实践中使用UDAF（用户定义聚合函数）的体验，特别是在Hive环境下的应用。通过一个示例展示了如何进行group by操作，每个ID生成一条聚合后的结果。在iterate和merge阶段，titleStatisticInfoMap被用来存储和合并数据，虽然在不同阶段该变量会被重新初始化，但其作用在两个阶段中保持一致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下面例子是自己在实验udaf写法，中间踩了不少坑，写在这里做个笔记

udaf类实现

package com.test.newsevent;

import java.io.Serializable;
import java.util.HashMap;
import java.util.Map;

import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;

@SuppressWarnings("deprecation")
public class GetNewsTitleInfoStatistics extends UDAF {

	// 记录新闻标题统计信息
	public static class NewsTitleInfo implements Serializable {
		private String title;// 标题名称
		private String url;// url
		private String isCredible;// 新闻来源是否可信 "no":不可靠 "yes":可靠
		private int total;// 该条新闻的总数
		
		public NewsTitleInfo() {
			
		}
		
		public NewsTitleInfo(String title, int total, String isCredible, String url) {
			super();
			this.title = title;
			this.total = total;
			this.isCredible = isCredible;
			this.url = url;
		}
		
		public String getTitle() {
			return title;
		}

		public void setTitle(String title) {
			this.title = title;
		}

		public String getU