因为map的输出是中间的结果，这个中间结果是由reduce处理后才产生最终输出结果，而且一旦作业完成，map的输出结果就可以删除。如果把它存储在hdfs中就并备份，难免有些小题大作，如果运行map任务的节点将map中间结果传送给reduce任务之前失败，hadoop将在另一个节点上重新运行这个map任务以在此构建mao中间结果。
转载于:https://my.oschina.net/u/4009325/blog/2396152
hadoop任务map将其输入写入本地硬盘，而非hdfs，为什么
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
