CentOS下安装Hadoop单机版

1.先安装JDK

因为Hadoop需要在JAVA环境下运行，所以在安装之前需要先安装JDK。

JDK安装步骤：

1）如果CentOS已自带低版本JDK，请先将其卸载。

2）在官网http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载jdk-7u79-linux-x64.rpm（64位系统，也可选32位）。

3）在/usr下新建java目录：mkdir /usr/java

4）将下载的安装文件复制到usr/java目录下

5）安装jdk：rpm -ivh jdk-7u79-linux-x64.rpm。

6）配置环境变量：vi /etc/profile

在文件中加入：

exportPATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

exportJAVA_HOME=/usr/java/jdk1.7.0_60

exportPATH=$JAVA_HOME/bin:$PATH

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

让环境变量生效： source /etc/profile

7）到这里JDK就安装配置完成了，可通过java -version指令查看当前的java版本。

 

2.SSH无密码验证配置

因为Hadoop需要使用SSH协议，为了避免不停的输入密码，将SSH配置成无密码验证。

SSH无密码验证配置步骤：

1）生成密钥对：[root@localhost ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

通过以上命令将在/root/.ssh/目录下生成id_dsa私钥和id_dsa.pub公钥。

2）进入/root/.ssh目录在namenode节点下做如下配置：[root@localhost.ssh]# cat id_dsa.pub > authorized_keys

3）可以用键入sshlocalhost命令来看已经连接：此时用ssh进入localhost已经不需要密码了。

 

 

3.安装Hadoop

本次安装和配置的是hadoop单机版，主要是为了了解hadoop的安装过程和基本的操作。

hadoop单机安装与配置步骤：

1）首先从官网http://hadoop.apache.org/releases.html下载安装文件包，我下载的是2.6.0版本的hadoop-2.6.0.tar.gz。

2）在usr下创建文件夹hadoop: mkdir hadoop（这个路径可自行选择）

3）将下载的tar.gz安装包解压到/usr/hadoop目录下：tar -zxvf hadoop-2.6.0.tar.gz /usr/hadoop

4）进入/usr/hadoop/etc/hadoop/下修改hadoop-env.sh文件，配置java环境：

在最后加上

5）修改hadoop/etc/下的core-site.xml, hdfs-site.xml,mapred-site.xml三个namenode配置文件：对应于/src/core/core-default.xml，但不能直接修改它，（hadoop启动时先读取src下面的core/core-default.xml,hdfs/hdfs-default.xml,apred/mapred-default.xml，里面缺失的变量由conf下面的三个-site文件提供）。

 

a)配置core-site.xml:

 

   b)配置hdfs-site.xml：

 

 c)配置mapred-site.xml..template：

 

6)启动hadoop:

a)格式化namenode:

 

 

b)启动hadoop守护进程：如果执行jps后出现了图示效果表明配置成功。

    

 

此时配置成功，可以通过浏览器查看

 NameNode -http://localhost:50070/

 

JobTracker -http://localhost:8088/ (hadoop 2.0后由原来的50030端口改成了8088端口)。