Hadoop2.7.2 Centos 完全分布式集群环境搭建 (2) - Hadoop安装与配置(完全分布式)

CentOS  6.5服务器两台

主机(hadoopMaster) : 10.144.255.45   -namenode

主机(hadoopSlave114...)   :  10.163.189.82   -datanode

下载Hadoop安装文件xxxx.tar.gz放一份到Master上，各个slave从master上复制并稍加修改即可。

1. 解压 tar -xzvf hadoop-2.7.2.tar.gz 得到文件夹 hadoop-2.7.2,
    重命名为hadoop ： mv hadoop-2.7.2 hadoop

2. 配置环境变量

    vi /etc/profile 
   最后加入：

   

    source /etc/profile   生效

3. hadoop配置文件修改  /mnt/hadoop/etc/hadoop/

   a> hadoop-env.sh  export JAVA_HOME指定安装位置

   

   b>core-site.xml

   

   c>hdfs-site.xml  需要事先建好name和data文件夹

   

   d> mapred-site.xml (cp marped-site.xml.template mapred-site.xml)

   

   e> yarn-site.xml

   

  f> 修改slaves文件

    删除localhost ,增加hadoopSlave114xxx(你的slave主机名称)

4. Slave服务器上的hadoop配置

    hadoop用户打开slave终端，复制master上的hadoop项目到本地目录

    cd /mnt

    sudo scp -r hadoop@10.144.255.45:/mnt/hadoop/ .

    修改hadoop文件夹权限
    sudo chown -R hadoop:hadoop hadoop/

    直接删除/hadoop/etc/hadoop/slaves文件

    配置环境变量：

    

    source /etc/profile   生效

5. 格式化HDFS文件系统

      hadoop用户登陆Master服务器，执行hadoop namenode -format

      等待执行完成。

 

6. 启动

    分别启动sbin/start-dfs.sh   sbin/start-yarn.sh也可以使用sbin/start-all.sh

    中间遇到提示框输入yes, 仅第一次有。

    (推荐使用sbin/start-dfs.sh   sbin/start-yarn.sh ，start-all.sh已经废弃）

   

     jps查看启动情况

    在slave上查看

   

   说明启动成功，一切正常。

   命令hdfs dfsadmin -report查看集群状态

  

测试mapreduce:使用自带示例程序：

圆周率：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 5 10

 

集群节点状态/文件系统监控访问：masterIp:18088    masterIp:50070如下