上一节已经在master主节点上搭建了Hadoop环境,这一节完善Hadoop集群
一. 首先要将/usr/local/hadoop文件拷贝到其他两个子节点(slave1,slave2)
scp -r /usr/local/hadoop root@slave1:/usr/local
scp -r /usr/local/hadoop root@slave2:/usr/local
二. 其次要将环境变量文件(.bashrc)拷贝到其他两个子节点(slave1,slave2)
scp -r ~/.bashrc root@slave1:~/
scp -r ~/.bashrc root@slave2:~/
三. 分别对两个子节点的.bashrc文件进行source,以让它生效
四. 启动Hadoop
1、第一次启动须格式化namenode:在master上执行以下命令
hdfs namenode -format
2、启动hdfs集群:start-dfs.sh
3、启动yarn集群:start-yarn.sh
4、使用jps查看主线程以及子线程进程,对比如下
master:namenode、ResourceManager
slave1:datanode、secondarynamenode、NodeManager
slave2:datanode、NodeManager
启动成功后可以通过浏览器访问http://master:50070测试hdfs
可以通过浏览器访问http://master:8088测试yarn