hadoop wordcount 分步按照value降序排序

最新推荐文章于 2022-07-04 23:55:38 发布

原创

最新推荐文章于 2022-07-04 23:55:38 发布 · 1.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #降序排序 #wordcount #解析

本文介绍了如何将Hadoop的Wordcount默认排序替换为按照value降序排序，通过讲解并提供@DecreasingComparator.java、@Submit.java、@SortMapper.java和@SortReducer.java等关键代码，帮助读者一步步实现这一过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

面向有wordcount输出结果的，经过默认排序的

由于wordcount自带的是按照字母表顺序排序的，所以我们第一步就是要把自带排序给替换成按照value降序排序的

@DecreasingComparator.java

public class DecreasingComparator extends Text.Comparator {
   
   
    @SuppressWarnings("rawtypes")
    public int compare(WritableComparable a, WritableComparable b){
   
   
        return -super.compare(a, b);
    }
    public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) {
   
   
        return -super.compare(b1, s1, l1, b2, s2, l2);
    }
}

来源@木子木泗链接

@Submite.java

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
im