GroupingComparator分组排序使用

最新推荐文章于 2022-05-05 15:08:24 发布

随缘zzz

最新推荐文章于 2022-05-05 15:08:24 发布

阅读量327

点赞数

分类专栏： shuffle 分组 hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/weixin_44122269/article/details/106441483

版权

hadoop 同时被 3 个专栏收录

6 篇文章

订阅专栏

shuffle

4 篇文章

订阅专栏

分组

1 篇文章

订阅专栏

本文详细介绍了在MapReduce中如何使用自定义的OrderGroupingComparator类实现数据的分组和辅助排序。通过继承WritableComparator并重写compare()方法，可以针对特定字段如订单ID进行比较，从而在Reduce阶段前对数据进行有效分组。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

GroupingComparator分组（辅助排序）

对Reduce阶段的数据根据某一个或几个字段进行分组。
分组排序步骤：
1.自定义类继承WritableComparator
2.重写compare()方法

@Override
public int compare(WritableComparable a, WritableComparable b) {// 比较的业务逻辑		
return result;
}

3.创建一个构造将比较对象的类传给父类

protected OrderGroupingComparator(){	
 	super(orderBean.class,true);
}

4.job中设置reduce端的分组

job.setGroupingComparatorClass(OrderGroupingComparator.class);

OrderSortGroupingComparator类

public class OrderGroupingComparator extends WritableComparator { 	
protected OrderGroupingComparator() {						     		   super(OrderBean.class, true)
} 	
@Override	
public int compare(WritableComparable a, WritableComparable b) { 		
	OrderBean aBean = (OrderBean) a;		 		 		 	OrderBean bBean = (OrderBean) b; 		
	int result;		
if (aBean.getOrder_id() > bBean.getOrder_id()) {			result = 1;		} else if (aBean.getOrder_id() < bBean.getOrder_id()) {			r
esult = -1;		} else {			
result = 0;		}
 return result;	}
 }