本文详细介绍了在MapReduce框架下如何通过自定义实现排序和分区功能，包括继承WritableComparator进行排序，以及通过实现Partitioner接口来指定分区策略。在具体案例中，如weather数据处理，展示了自定义Map输出键的实现过程。
见 idea代码
分组方法需要继承writableComparator 构造中 实现super（Text.class, true） 完成compare方法 一样的一组
分区 继承partitioner<Text,IntWritable> 完成getpartition 方法
排序 继承writableComparator 构造中实现super(Text.class,true) 完成compare方法 接到的是map的outputKey
在weather案例中 自定义map的输出key 实现writableComparable<bensheng>
完成实现类的3个方法 定义变量 完成序列化 反序列化 和排序 此排序会被之后定义的sort方法覆盖掉
注意理解
扫一扫
168万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
