- 博客(2)
- 收藏
- 关注
转载 Hadoop的combiner函数
集群上的可用带宽限制了MapReduce作业的数量,因此尽量避免map和reduce任务之间的数据传输是有利的。Hadoop允许用户针对map任务的输出指定一个combiner(类似与map和reduce)——combiner函数的输出作为reduce函数的输入。 combiner的规则制约着可用的函数类型。这里还是以计算最高气温的例子来说明,假设第一个map的输出如下:(...
2018-04-12 10:21:08
585
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人