Mapreduce实例

这边拿到的作业内容是一个8行内容的文本文件,要求的输出内容是

具体设置为数据自由切片split、Reduce任务数设置为2,且用户编写了combine函数

因为课程原因刚刚接触的HDFS,有一些问题想请教一下区内大佬:

1.对于固定的比如说2个Reduce任务,应该设置多少个Map任务合适?为什么?

2.如果用户定义的combine函数是在shuffle过程中执行,那Reduce任务输出的时候还会再combine一次吗?

3.Combine函数执行前有没有归并的操作?

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值