Hadoop中NullWritable不能乱用

本文探讨了Hadoop 0.20.2版本中WordCount实例的一个细节问题:为何Map输出的Value不使用NullWritable。作者尝试将Value改为NullWritable后发现,在Shuffle过程中未能实现相同Key的有效合并。该实验结果提示我们对于MapReduce的工作机制还需要更深入的理解。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在hadoop 0.20.2版本中,各位有没有想过为什么wordcount实例 , map输出的value不用 NullWritalbe ? 实际上value 其实就起到了一个占位的作用。于是我自作聪明地改写了程序,把map的输出改成了NullWritable,结果发现在shuffle的过程中,并没有达到相同的key合并的效果。

具体原因有待进一步查明,愿把这点儿经验和大家一起分享。 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值