Hadoop集群中的各节点通过网络连接起来,而且MapReduce中的以下过程会在网络中传输数据。
大数据Hadoop环境网络特性
Hadoop集群中的各节点通过网络连接起来,而且MapReduce中的以下过程会在网络中传输数据。
(1) 写数据。当向HDFS写入初始数据或者大块数据时,会发生数据写入过程。写入的数据块需要备份到其他节点,需要在网络中传输这些数据。
(2) 作业执行。
1) Map阶段。在算法的Map阶段,几乎不需要在网络中传输数据。在Map开始阶段,当HDFS数据没有本地性(数据块不在本地存储,需要从其他节点拷贝)时,才需在网络中传输数据。
2) Shuffle阶段。这是作业执行中在网络中传输数据的阶段,数据传输的程度依赖于作业。Mapper阶段的输出内容,会在这个时候传输到Reducer进行排序。
3) Reduce阶段。因为Reducer需要的数据已经从Shufle阶段传来,所以此阶段不需要网络传输数据。
4) Output复制。MapReduce的输出作为文件存储在HDFS上。当将输出结果写入HDFS时,产生的备份会在网络中传输。
(3) 读数据。当应用程序如网站、索引或者SQL数据库从HDFS读取数据时,会发生数据读取的过程。
另外,网络对Hadoop的控制层非常重要,