CentOS6.4下Hadoop伪分布安装

1.系统介绍及所需软件：

VMware Workstation，Secure Shell Client，

(CentOS-6.4-x86_64-bin-DVD1.iso，jdk-7u67-linux-x64,Hadoop-2.2.0)

注：低版本的hadoop原生版本是32位，后来高版本的都是64位的，至于从何版本开始，可到官网查，因为不知道这一点试了好多次都没有成功。

2.永久关闭防火墙，不然ssh无密码连接时可能会无法连接。执行如下命令

3.进入/etc/hosts添加自己的IP地址和主机名。如

4.安装jdk并配置环境变量。（此处用的是RPM包）。

安装命令：rpm -ivh jdk-7u67-linux-x86.rpm

进入/etc/profile文件，添加Java环境变量

执行source /etc/profile 刷新配置文件

5.创建新用户并配置新用户免密码和用户目录。

useradd hadoop

passwd hadoop

mkdir -p /home/Hadoop

chown hadoop:hadoop /home/hadoop/*

chmod 755 /home/hadoop/*

6.hadoop用户下安装hadoop（我安装版本hadoop-2.2.0）

 使用ssh上传文件到机器（hadoop用户下）

 解压安装tar -zvxf hadoop-2.2.0.tar.gz

在/etc/profile文件下添加环境变量，如下

保存配置文件

执行source /etc/profile 使其立即生效

7.进行配置文件的修改，版本不同配置文件位置会不同。

hadoop-env.sh 文档添加Java路径

  以下data  tmp  name文件要事先建立。

core-site.xml文档添加如下信息

       

hdfs-site.xml文档添加如下信息
 

mapred-site.xml文档添加如下信息

8.设置免密码登陆

在hadoop用户下执行免密码登陆的操作。

1.ssh-keygen –t rsa 直接按回车。文件选择要安放的路径时，直接按回车默认。

2.找到一个.ssh的隐藏文件。（路径会在上一步操作中显示）

3.使id_rsa.pub 文件成为公钥执行下列命令

cp id_rsa.pub authorized_keys

9.测试

在hadoop主目录下执行下列命令。

bin/hadoop namenode –format（这是格式化存放数据的目录）

bin/start-all.sh（启动节点，相对的bin/stop-all.sh关闭节点）

jps    (会显示六个节点包含jps，便是安装成功)

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/30172158/viewspace-1503038/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/30172158/viewspace-1503038/