在hadoop 0.20.2版本中,各位有没有想过为什么wordcount实例 , map输出的value不用 NullWritalbe ? 实际上value 其实就起到了一个占位的作用。于是我自作聪明地改写了程序,把map的输出改成了NullWritable,结果发现在shuffle的过程中,并没有达到相同的key合并的效果。
具体原因有待进一步查明,愿把这点儿经验和大家一起分享。
本文探讨了Hadoop 0.20.2版本中WordCount实例的一个细节问题:为何Map输出的Value不使用NullWritable。作者尝试将Value改为NullWritable后发现,在Shuffle过程中未能实现相同Key的有效合并。该实验结果提示我们对于MapReduce的工作机制还需要更深入的理解。
在hadoop 0.20.2版本中,各位有没有想过为什么wordcount实例 , map输出的value不用 NullWritalbe ? 实际上value 其实就起到了一个占位的作用。于是我自作聪明地改写了程序,把map的输出改成了NullWritable,结果发现在shuffle的过程中,并没有达到相同的key合并的效果。
具体原因有待进一步查明,愿把这点儿经验和大家一起分享。
3670
2370

被折叠的 条评论
为什么被折叠?