hadoop-0.20.205.0部署手册

硬件环境为四台安装Red Hat Linux的PC，IP和主机名分别为：

10.21.4.112 namenode112
10.21.14.54 datanode054
10.21.14.62 datanode062
10.21.14.111 datanode111

将以上内容分别放入四台机器的/etc/hosts文件中

在四台机器上分别创建用户hadoop，密码为：hadoop

1、安装JDK

从sun官网下载1.6的jdk安装，本人的安装路径为：/home/hadoop/program/java。配置环境变量，在/home/.bash_profile的末尾加入一下内容：

JAVA_HOME=/home/hadoop/program/java
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

2、配置ssh无密码登录

在namenode112上执行以下命令：

ssh-keygen

然后按照提示输入必要的信息，当要求输入密码的时候留空。

执行cp命令拷贝上一步生成的密钥对中的公钥到/home/hadoop/.ssh目录底下。

cp /home/hadoop/.ssh/id_rsa.pub/home/hadoop/.ssh/authorized_keys

执行scp命令将authorized_keys文件分别拷贝到其他datanode节点

scp /home/hadoop/.ssh/authorized_keys hadoop@datanode111:/home/hadoop/.ssh/authorized_keys

scp /home/hadoop/.ssh/authorized_keys hadoop@datanode062:/home/hadoop/.ssh/authorized_keys

scp /home/hadoop/.ssh/authorized_keys hadoop@datanode054:/home/hadoop/.ssh/authorized_keys

在namenode112机器使用以下命令分别查看是否可以无密码登录其他三台机器

ssh datanode111
ssh datanode054
ssh datanode062

如果不成功，请检查原因

3、安装配置hadoop

从apache网站下载hadoop的压缩包(hadoop-0.20.205.0.tar.gz)，执行一下命令解压

tar -zxvf hadoop-0.20.205.0.tar.gz

在四台机器上分别创建数据文件存放文件夹,这里是/home/hadoop/hadoop-data,执行chmod修改该文件夹的权限为755，注意，这里貌似只能是755，权限过大或过小都不能启动datanode节点。

mkdir /home/hadoop/hadoop-data

chmod 755 /home/hadoop/hadoop-data

配置hadoop-env.sh，在其中加入JAVA_HOME环境变量的配置，内容如下：

export JAVA_HOME=/home/hadoop/program/java

配置conf/core-site.xml,内容如下：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
        <property>
               <name>fs.default.name</name>
                <value>hdfs://namenode112:9000</value>
        </property>
</configuration>

配置conf/hdfs-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
               <name>dfs.replication</name>
               <value>2</value><!--数据备份数量-->
        </property>
        <property>
               <name>dfs.data.dir</name>
               <value>/home/hadoop/program/hadoop-data</value><!--数据文件存放地址-->
        </property>
</configuration>

配置conf/mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
               <name>mapred.job.tracker</name>
               <value>namdenode112:9001</value>
        </property>
</configuration>

配置masters，在其中加入namenode节点的主机名

namenode112

配置slaves，在其中加入datanode节点的主机名

datanode111

datanode054

datanode062



将hadoop整个文件夹通过scp命令分别拷贝到其他几个datanode的相同路径下。

4、运行hadoop

转到hadoop安装路径的bin目录下，运行以下命令格式化hadoop的文件系统

./hadoop namenode -format



启动hadoop



./start-all.sh



打开浏览器，输入namenode节点的IP和50070端口查看运行状态



http://10.21.4.112:50070/dfshealth.jsp



访问结果如下：

NameNode'namenode112.hadoop:9000'


Started:


Wed Dec 21 21:55:47 CST 2011


Version:


0.20.205.0, r1179940

Compiled:

Fri Oct 7 06:20:32 UTC 2011 by hortonfo

Upgrades:

There are no upgrades in progress.

Browse the filesystem
Namenode Logs


--------------------------------------------------------------------------------


Cluster Summary

1files and directories, 0 blocks = 1 total. Heap Size is 57.38 MB / 888.94 MB(6%)








Configured Capacity


:


549.29 GB





DFS Used


:


84 KB





Non DFS Used


:


39.81 GB





DFS Remaining


:


509.47 GB





DFS Used%


:


0 %





DFS Remaining%


:


92.75 %





Live Nodes


:


3





Dead Nodes


:


0





Decommissioning

Nodes


:


0





Number of Under-Replicated Blocks


:


0





--------------------------------------------------------------------------------


NameNode Storage:









Storage Directory


Type


State


/tmp/hadoop-hadoop/dfs/name


IMAGE_AND_EDITS


Active

--------------------------------------------------------------------------------


Thisis Apache Hadoop release 0.20.205.0