hadoop 安装 分布式模式

创建用户

[root@clubserver1 ~]# useradd -d /home/hadoop2014 -m  hadoop2014 -s /bin/bash  -g hadoop2014 -G root

[root@clubserver2 ~]# useradd -d /home/hadoop2014 -m hadoop2014  -s /bin/bash  -g hadoop2014 -G root

[root@clubserver3 ~]# useradd -d /home/hadoop2014 -m hadoop2014  -s /bin/bash  -g hadoop2014 -G root

ssh免密码登陆

利用ssh-keygen –t rsa 命令配置hadoop2014用户在clubserver1、clubserver2、clubserver3之间的免密码登陆。

JDK配置

分别在每台机器操作

修改/etc/profile 加入

export JAVA_HOME="/usr/java/jdk1.6.0_25"

exportCLASSPATH=".:/usr/java/jdk1.6.0_25/lib:/usr/java/jdk1.6.0_25/jre/lib"

export HADOOP_HOME="/home/hadoop2014/hadoop-1.1.2"

export HADOOP_HOME_WARN_SUPPRESS=1

然后运行

[root@clubserver1 hadoop2014]# source /etc/profile

[root@clubserver2 hadoop2014]# source /etc/profile

[root@clubserver3 hadoop2014]# source /etc/profile

 

Hadoop 安装

1.  在clubserver1将文件copy到/home/hadoop2014并解压

2.  在clubserver1的/home/hadoop2014/hadoop-1.1.2/conf目录

Ø 编辑hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.6.0_25

Ø 编辑core-site.xml

<configuration> <property> <name>fs.default.name</name> <value>hdfs://clubserver1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> 　　<value>/home/hadoop2014/hadooptmp</value> </property> </configuration>

Ø 配置hdfs-site.xml

<configuration>  <property>   <name>dfs.name.dir</name>   <value>/home/hadoop2014/name</value>  </property>  <property>   <name>dfs.data.dir</name>   <value>/home/hadoop2014/data</value>  </property>  <property>   <name>dfs.replication</name>   <value>2</value>  </property> </configuration>

 

Ø 配置mapred-site.xml

      

<configuration>   <property>    <name>mapred.job.tracker</name>    <value>clubserver1:9001</value>  </property> </configuration>

 

Ø 配置masters文件

clubserver1

Ø 配置slaves文件

clubserver2 clubserver3

3.  将文件copy至clubserver2和clubserver3节点

scp -r192.168.1.111:/home/hadoop2014/hadoop-1.1.2/ .

4.  namenode 格式化

hadoop namenode –format

5.  启动hadoop集群

start-all.sh

6 检查集群状态

   clubserver1下运行jps命令

2700 NameNode 2957 JobTracker 3581 Jps 2879 SecondaryNameNode

   clubserver2下运行jps命令

7275 Jps 6334 DataNode 6446 TaskTracker

   clubserver3下运行jps命令

     

6262 DataNode 6718 Jps 6339 TaskTracker

    发现namenode节点和辅助节点，以及2个数据节点已经启动