hadoop 搭建集群配置

1.要有个规划，由于是用自己电脑来模拟搭建，因此在以三个节点为例来演示hadoop 的搭建

hadoop01 ip 51  namenode、datanode 、 nodemanager 、resourcemanager、jobhistoryserver

hadoop02 ip 52  datanode 、secondarynamenode 、nodemanager

hadoop03 ip 53 datanode 、nodemanager

2、jdk与ssh的安装并配置环境变量      linux java安装   

3、ssh的免登录配置  

4、hadoop的安装配置

5、修改hadoop的配置文件

vi ./etc/hadoop/hadoop-env.sh     主要是将JAVA_HOME 修改
vi ./etc/hadoop/core-site.xml  下一篇博客讲配置文件中的配置内容
vi ./etc/hadoop/hdfs-site.xml
vi ./etc/hadoop/mapred-site.xml
vi ./etc/hadoop/yarn-site.xml
vi ./etc/hadoop/slaves

6、远程发送        所有子节点的配置文件与主节点一致

scp -r ../hadoop-2.7.1/ root@hadoop02:/usr/local/
scp -r ./hadoop-2.7.1/ hadoop03:/usr/local/
##########scp -r root@hadoop03:/user/local/hadoop-2.71 ./

7、格式化hdfs  

8、启动

9、测试

按照规划查看进程是否启动
查看web ui监控
读写文件、运行job作业


web 监控地址:
192.168.216.111:50070  hdfs的web ui监控
192.168.216.111:8088   yarn的web ui监控
192.168.216.112:50090  snn的web ui监控
192.168.216.111:19888  jobhistoryserver的web ui监控