hadoop1集群环境搭建

           一直以来都没有将自己的一些知识以文档的形式记录下来，时间长了容易淡忘。在此以文档的方式记录，当做归纳总结，方便阅读查看。

    

       假设集群中已经安装好jdk和实现了集群间的免密码登http://blog.youkuaiyun.com/ls386239766/article/details/38169259

      

       集群环境：hadoop0、hadoop1、hadoop2

       hadoop版本：hadoop-1.1.2.tar.gz

       1.将hadoop安装在目录/mnt/soft下，执行命令：tar -xzvf hadoop-1.1.2.tar.gz。解压后的文件夹hadoop-1.1.2，将该文件夹重命名为hadoop。执行命令 mv hadoop-1.12 hadoop

       2.修改配置文件：hdfs-site.xml、core-site.xml、mapred-site.xml、hadoop-env.sh、slaves、masters

           hdfs-site.xml

<property>
  <name>dfs.http.address</name>
  <value>0.0.0.0:50070</value>
</property>
<property>
  <name>dfs.secondary.http.address</name>
  <value>0.0.0.0:0</value>
</property>
<property>
  <name>dfs.datanode.address</name>
  <value>0.0.0.0:0</value>
</property>
<property>
  <name>dfs.datanode.ipc.address</name>
  <value>0.0.0.0:0</value>
</property>
<property>
  <name>dfs.datanode.http.address</name>
  <value>0.0.0.0:0</value>
</property>
<property>
  <name>dfs.replication</name>     <!-- 副本数-->
  <value>3</value>
</property>
<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>

core-site.xml：

<property>
     <name>fs.default.name</name>         
     <value>hdfs://hadoop0:9000</value>
        <description>change your own hostname</description>         
    </property>
    <property>
     <name>hadoop.tmp.dir</name>
     <value>/mnt/soft/hadoop/tmp</value>   
    </property>

mapred-site.xml：

<property>       
  <name>mapred.job.tracker</name>            
  <value>http://hadoop2:9001</value>
 </property>
 <property>
  <name>mapred.job.tracker.http.address</name>
  <value>0.0.0.0:50030</value>
 </property>
 <property>
  <name>mapred.task.tracker.http.address</name>
  <value>0.0.0.0:0</value>
 </property>

hadoop-env.sh:

该文件中修改JAVA_HOMEN为jdk安装路径 export JAVA_HOME=/usr/local/jdk1.6



masters:secondNameNode节点位置。此处设置的为hadoop1

slaves：从节点位置。设置的为hadoop1、hadoop2

       3.将hadoop0中目录/mnt/soft/hadoop 文件夹复制到hadoop1、hadoop2中。

          在hadoop0中执行命令： scp rq /mnt/soft/hadoop  hadoop1:/mnt/soft

          在hadoop0中执行命令： scp rq /mnt/soft/hadoop  hadoop2:/mnt/soft

       4.在hadoop0中配置环境变量，并复制到hadoop1、hadoop2中。

          在hadoop0中执行命令： vi /root/.bashrc

          进入vi编辑窗口后配置环境变量：

         

          复制到hadoop1、hadoop2中。

          hadoop0上执行命令 scp /root/.bashrc hadoop1:/root/.bashrc

          hadoop0上执行命令 scp /root/.bashrc hadoop2:/root/.bashrc

        

          5.格式化，在hadoop0上执行命令：hadoop namenode -format   

          

          6.启动集群：

             hadoop0上执行 start-all.sh

             hadoop2上执行 hadoop-daemons.sh start jobtracker

     

             hadoop0、hadoop1、hadoop2上的进程：