reduce在16%暂停
因为有两台datanode,但是各台host文件中并没有添加各自的ip,在datanode1和datanode2中分别加上各自的ip地址就行。
因为当datanode1和datanode2执行完map后有一个shuffle过程,如果datanode1不知道datanode2的ip地址就会导致失败,所以datanode1的hosts文件中应该有datanode2的,同样datanode2中也要有datanode1的
Datanode1的hosts文件:
#127.0.0.1 localhost
127.0.1.1 ubuntu
192.168.254.129 namenode
192.168.254.130 datanode1
192.168.254.131 datanode2
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
Datanode2的:
#127.0.0.1 localhost
127.0.1.1 ubuntu
192.168.254.129 namenode
192.168.254.130 datanode1
192.168.254.131 datanode2
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
本文介绍了解决Hadoop MapReduce作业中reduce阶段暂停在16%的问题。通过在datanode主机文件中正确配置彼此的IP地址,确保了map任务后的shuffle阶段能够正常进行。
6010

被折叠的 条评论
为什么被折叠?



