MapReduce计算任务的步骤

本文详细阐述了MapReduce计算任务的十个关键步骤,从输入格式设置到数据读取,再到Map、Reduce等过程的深入解析,最后到输出格式的确定,全面介绍了MapReduce的工作原理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

MapReduce计算任务的步骤
1步:InputFormat
InputFormat hdfs上读取数据
将数据传给Split
2步:Split
//设置读取数据的路径
TextInputFormat.addInputPath(job,new Path("C:\\bbb.txt"));
//3、设置Map
job.setMapperClass(WordCountMap.class);
//设置map输出的类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(LongWritable.class);
//4、设置reduce代码
job.setReducerClass(WordCountReduce.class);
//设置reduce输出的类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(LongWritable.class);
//5、设置读输出数据的class
job.setOutputFormatClass(TextOutputFormat.class);
//设置输出数据的路径
TextOutputFormat.setOutputPath(job,new Path("C:\\ccc.txt"));
//6、等待代码执行(返回状态码)
return job.waitForCompletion(true)?0:1;Split将数据进行逻辑切分,
将数据传给RR
3步:RR
RR:将传入的数据转换成一行一行的数据,输出行首字母偏移量和偏移量对应的数据
将数据传给MAP
4步:MAP
MAP:根据业务需求实现自定义代码
将数据传给Shufflfflfflepartition
5步:partition
partition:按照一定的分区规则,将key valuelist进行分区。
将数据传给ShufflfflffleSort
6步:Sort
Sort:对分区内的数据进行排序
将数据传给Shufflfflfflecombiner
7步:combiner
combiner:对数据进行局部聚合。
将数据传给ShufflfflffleGroup
8步:Group
Group:将相同keykey提取出来作为唯一的key,
将相同key对应的value获取出来作为valuelist
将数据传给Reduce
9步:Reduce
Reduce:根据业务需求进行最终的合并汇总。
将数据传给outputFormat
10步:outputFormat
outputFormat:将数据写入HDFS打包代码到集群运行
在代码中添加
job.setJarByClass(WordCountDriver.class);
打包提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值