Hadoop_day05_MapReduce 的 Shuffle 详解（分区、排序、规约、分组）

最新推荐文章于 2024-12-24 19:37:40 发布

原创

最新推荐文章于 2024-12-24 19:37:40 发布 · 1.2k 阅读

8 ·

CC 4.0 BY-SA版权

本文详细介绍了Hadoop MapReduce的Shuffle过程，包括分区、排序和规约。分区允许将相同类型的数据发送到同一Reducer进行处理；排序确保数据按照指定规则有序；规约（Combiner）则是在Map端进行数据合并，减少网络传输，提高性能。文章通过自定义Partitioner、比较器和Combiner展示了具体实现方法。

一、分区

在 MapReduce 中, 通过我们指定分区, 会将同一个分区的数据发送到同一个 Reduce 当中进行处理

例如: 为了数据的统计, 可以把一批类似的数据发送到同一个 Reduce 当中, 在同一个 Reduce 当中统计相同类型的数据, 就可以实现类似的数据分区和统计等

其实就是相同类型的数据, 有共性的数据, 送到一起去处理

Reduce 当中默认的分区只有一个

1.1 Mapper

public class PartitionMapper extends Mapper<LongWritable, Text, Text, NullWritable> {
    // map方法，将 K1 V1 转为 K2 V2
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        context.write(value,NullWritable.get());
    }
}

1.2 Reducer

public class PartitionReducer extends Reducer<Text,NullWritable,Text,NullWritable> {
    @Override
    protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
        context.write(key,NullWritable.get());
    }
}

1.3 Partitioner

package com.cpz.partition;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;


public class MyPartitioner extends Partitioner<Text,NullWritable> {
    // 1.定义分区规则
    // 2.返回对应的分区编号
    @Override
    public int getPartition(Text text, NullWritable nullWritable, int i) {
        // 拆分行文本数据，获取中奖字段的值
        String result = text.toString().split("\t")[5];
        // 判断中奖字段的值和15的关系，然后返回对应的分区编号
        int num = Integer.parseInt(result);
        if (num > 15){
            return 1;
        }else {
            return 0;
        }
    }
}

1.4 JobMain

package com.cpz.partition;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

i

最低0.47元/天解锁文章