本文探讨了Hadoop中任务分配的具体机制，指出MapReduce作业会将数据拆分并确定性地分配到各个节点上。此外，还介绍了如何通过文件创建时间来区分最新的block，并能在Hadoopfs/data/current/目录下进行本地访问。
在Hadoop分配任务时，可以由一步MapReduce将数据拆分，每一份放在一个结点上。 经过观察，每一份被分配到的结点是确定而非随机的。 而HDFS上的文件，可以在Hadoopfs/data/current/ 下被本地访问。可以用文件创建时间来区分block（最新）.
Hadoop数据分配
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
