Hadoop集群环境的搭建

我们一般使用hadoop都会在虚拟机上面，所以我针对的都是在虚拟机上的hadoop集群。

准备阶段

1,：将原来搭建的hadoop单机版环境的虚拟机拷贝一份(详细信息http://blog.youkuaiyun.com/fullyfang/article/details/9391835).

2：准备两台服务器，如下：

         机器名                 IP地址                                  作用

     hadoop.main             192.168.0.105                运行 NameNode，JobTracker，DataNode，TaskTracker

     hadoop.slave            192.168.0.104                            运行 DataNode，TaskTracker

     注：IP地址的和用户名的设置根据自己实际情况而定且两台主机必须使用相同的用户名运行hadoop

实践阶段

3：修改主机的名称 输入 vi /etc/hostname，将hostname修改为hadoop.main  按x保存后退出。

      再输入：vi /etc/hosts修改网络，输入：

      192.168.0.105           hadoop.main localhost

      192.168.0.104           hadoop.slave（我的是redhat，可能不同的linux显示数据不一样，视具体情况而定）， 按x保存后退出。

4：修改另一台服务器的主机名  

 vi /etc/hostname，将hostname修改为hadoop.slave 按x保存后退出。

      再输入：vi /etc/hosts修改网络，输入：

      192.168.0.105           hadoop.main

      192.168.0.104           hadoop.slave  localhost ，按x保存后退出。

5：修改2台主机的core-site.xml，配置HDFS的地址和端口号
   vi conf/core-site.xml

   <configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://hadoop.main:9000</value>   
   </property> 
   </configuration>

6：修改2台主机的MapReduce的配置文件，配置的是JobTracker的地址和端口 
   vi conf/mapred-site.xml

   <configuration>
   <property>
       <name>mapred.job.tracker</name>
       <value>hadoop.main:9001</value>
   </property>
   </configuration>

7，修改2台主机中的hadoop配置文件masters，输入vi  /home/hadoop/cof/masters
   输入：hadoop.main，按x保存后退出。

8，修改2台主机中的hadoop配置文件slaves，输入vi  /home/hadoop/cof/slaves
   hadoop.main
   hadoop.slave，按x保存后退出。

9：在haddop.main节点中的hadoop安装目录下运行
   bin/hadoop namenode -format

10：启动hadoop
   bin/start-all.sh

注：5—9步两台机器的配置和操作是一样的。

上述步骤完成之后，在浏览器中输入：http://localhost:50070/ 后打开hdfs页面

点击Live Nodes 。

显示：Live Datanodes : 2说明集群环境搭建成功。