Hadoop1.2.1集群配置

0.环境说明

1个master1,3个slave
masterIP:10.10.38.71
slave1IP:10.10.39.14
slave2IP:10.10.36.150
slave3IP:10.10.39.3

JDK：jdk-7u25-linux-i586.tar.gz
Hadoop:hadoop-1.2.1.tar.gz

在4台机器上设置相同的用户组和用户名。

1.安装ssh

在4台机器上安装ssh，把master的公钥追加到3个slave的authorized_keys中，实现master到slave的免密码登录。

2.安装JDK

在4台机器上安装JDK，所有机器的JDK安装路径必须一样，本实验中，所有机器上的JDK安装在/usr/java下面。

3.安装Hadoop
在master上面把hadoop安装在/opt/hadoop下面。
配置：hadoop-env.sh
core-site.sh
mapred-site.sh
hdfs-site.sh
masters
slavess

把master上的/opt/hadoop文件拷贝到其它3台机器上，设置各个机器上/opt/hadoop的权限，chown -R  hadoop:hadoop /opt/hadoop

4.其它配置

在每一台机器上的hosts文件里面添加其它机器的ip和主机名，注意与hostname的一致性。

测试：
格式化NameNode;
启动hadoop；
jps查看各个机器上进程情况；

执行实例；

如果报错，查看日志分析错误。
*如果再次启动无datanode或者无namenode，修改hadoop.tmp.dir

*如果reduce执行到一部分就卡死，web端查看50030里面各个节点执行的日志，可能是各个节点识别不到hostname,添加各个机器的ip  hostname对到所有的机器。