Hadoop1.1.2集群安装（Vmware+CenterOS6.5.X64）

1.1 分布结构        (jdk安装就不讲了，三台机器上都必须安装)  链接：hadoop1.1.2.tar.gz下载 ：http://pan.baidu.com/s/1hrgPRH6 密码：s5d5

主节点(1个,是hadoop01):NameNode、JobTracker、SecondaryNameNode

从节点(2个,是hadoop02、hadoop03):DataNode、TaskTracker

1.2 各节点重新产生ssh加密文件

1.3编辑各个节点的/etc/hosts，在该文件中含有所有节点的ip与hostname的映射信息

[root@hadoop01conf]# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4localhost4.localdomain4

::1         localhost localhost.localdomainlocalhost6 localhost6.localdomain6

192.168.255.111hadoop01

192.168.255.112hadoop02

192.168.255.113hadoop03

1.4 两两节点之间的SSH免密码登陆

ssh-copy-id -i  hadoop01 或者 scp /root/.ssh/authorized_keys  hadoop01:/root/.ssh/

1.5把hadoop01的hadoop目录下的logs和tmp删除

[root@hadoop01conf]# cd /usr/share/app/hadoop-1.1.2

[root@hadoop01hadoop-1.1.2]# rm -rf logs/

[root@hadoop01 hadoop-1.1.2]# rm -rf tmp/

1.6 修改hadoop01的配置文件  hadoop-env.sh 、hdfs-site.xml、core-site.xml、mapred-site.xml 4个配置文件

1.6.1.hadoop-env.sh 添加Jdk根目录

[root@hadoop01conf]# vi hadoop-env.sh

 exportJAVA_HOME=/usr/local/java/jdk1.7.0_79（大概第9行）

1.6.2.hdfs-site.xml

[root@hadoop01conf]# vi hdfs-site.xml

<configuration>

    <property>

       <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

       <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

1.6.3.core-site.xml

[root@hadoop01conf]# vi core-site.xml

<configuration>

    <property>

       <name>fs.default.name</name>

       <value>hdfs://hadoop01:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

       <value>/usr/share/app/hadoop-1.1.2/tmp</value>

    </property>

</configuration>

1.6.4.mapred-site.xml

[root@hadoop01conf]# vi mapred-site.xml

<configuration>

        <property>

               <name>mapred.job.tracker</name>

               <value>hadoop01:9001</value>

        </property>

</configuration>

 

1.7 文件安全拷贝

       1.7.1 把hadoop01中的hadoop文件夹复制到hadoop02和hadoop03节点

[root@hadoop01hadoop-1.1.2]# scp -r /usr/share/app/hadoop-1.1.2 hadoop02:/usr/share/app/

[root@hadoop01 hadoop-1.1.2]# scp -r /usr/share/app/hadoop-1.1.2hadoop03:/usr/share/app/

        1.7.2把hadoop0的/etc/profile复制到hadoop1和hadoop2节点，在目标节点中执行source  /etc/profile

[root@hadoop01conf]# scp -r /etc/profile hadoop01:/etc/

[root@hadoop01conf]# source /etc/profile

1.8 编辑hadoop01中的 slaves，改为从节点的hostname，分别是hadoop02和hadoop03

[root@hadoop01conf]# vi slaves

hadoop02

hadoop03

~          

1.9格式化，在hadoop01节点执行hadoopnamenode -format

1.10启动，在hadoop01节点执行start-all.sh

****注意：对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。

查看节点

主节点:hadoop01（NameNode、JobTracker、SecondaryNameNode），从节点hadoop02、hadoop03(DataNode、TaskTracker)上分别执行jps

[root@hadoop01 conf]# jps

2836 Jps

2594SecondaryNameNode

2438 NameNode

2671 JobTracker

 

[root@hadoop02hadoop-1.1.2]# jps

1880 TaskTracker

1969 Jps

1812 DataNode

 

[root@hadoop03hadoop-1.1.2]# jps

1819 DataNode

1904 TaskTracker

2008 Jps

 

和预想的一样，大功告成！