Hadoop集群搭建之Hadoop安装（centos，伪分布）

一、先决条件

1.操作系统：CentOS6.2 

2.java环境：jdk1.6.0_38

3.hadoop版本：hadoop0.20.2

二、安装步骤

1、新建hadoop用户

#useradd hadoop
2、给hadoop用户root权限，设置hadoop用户的密码

1）打开/etc目录下的passwd文件

#vi /etc/passwd

修改将最后一行的第一个500改成0

2）设置密码

进入hadoop用户

#su - hadoop

修改密码

#passwd

 

3、用WSCP将hadoop包上传到/usr目录下面，并解压和更改名字

 
4、在/user/hadoop目录下创建tmp文件夹

     #mkdir /user/hadoop/tmp

5、配置/etc/profile

    打开profile文件，

    #vi /etc/profile

   在文件里添加hadoop路径

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH :$HADOOP_HOME/bin

  配置好的文件如下：

 红框为hadoop所在目录
 重启profile

#source /etc/profile

三、配置Hadoop

1、将/home/hadoop文件夹主属性设置为hadoop用户

#chown -R hadoop:hadoop /home/hadoop

2、修改hadoop_env.ssh文件

#vi /home/hadoop/hadoop/conf/hadoop_env.sh

找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径

3、修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号。

#vi core-site.xml

 

4、配置hdfs-site.xml(修改如下)

 

5、修改conf/mapred-site.xml文件，如图：

 6、添加scondarynamenode主机

    打开conf/masters文件，添加scondarynamenode主机的ip，单机版伪分布就写localhost

7、添加DataNode主机

   打开conf/slaves文件，添加DataNode的主机ip，单机版伪分布就写localhost

8、在/etc/hosts文件中添加主机IP

#vi /etc/hosts

例如：我的IP是192.168.32.133 主机名是master 就在下面添加 192.168.32.133  master

 

四、运行hadoop

1、进行初始化  

  #hadoop namenode -format

 出现以上，则初始化成功

2、启动hadoop

#sh start-all.sh

 

3.监测是否成功启动

#jps

出现6个进程

 

 注意：

1.当jps监测发现出现问题时，查看以下三个方面：

1. 检查各个xml文件是否配置正确

2. java环境变量配置是否正确

3. ssh是否无密码互通

2.DataNode无法启动时

http://samwalt.iteye.com/blog/1099348