ubuntu下hadoop单机伪分布式系统配置

本来想在三台虚拟机上配置分布式hadoop系统，但是配了很久也没配置成功，时间是把杀猪刀，没办法最后只好配置了单机伪分布系统来进行一些简单的实验。

配置环境：window7，ubuntu11.10,

要配置hadoop主要需要安装这些部件：java虚拟机，ssh，hadoop。下面详细介绍这三个部件的安装方法。

一．安装java虚拟机。

1.下载JDK，我下载的是jdk-6u30-linux-i586.bin。

2.将JDK 复制到虚拟机中（直接复制粘贴即可）。

3.在ubuntu中选择一个目录安装java，也可以新建目录。我是在/usr/local目录下新建了一个java目录。命令如下：sudo mkdir /usr/local/java建目录

4.将ubuntu桌面的JDK复制到java目录下                                      ：sudo cp /home/lc3/Desktop/jdk-6u30-linux-i586.bin /usr/local/java

5.改变JDK权限：sudo chmod a+x /usr/local/java/jdk-6u30-linux-i586.bin

6.进入JDK目录下安装JDK：cd /usr/local/java     sudo chmod a+x /usr/local/java/jdk-6u30-linux-i586.bin 

7.设置环境变量：用vi命令打开.bashrc 文件（这里要注意vi命令的用法，它和一般的文本编辑是不一样的），sudo vi .bashrc 打开后在文件最后加上如下几句：PATH=$PATH:/usr/local/java/jdk1.6.0_30/bin

CLASSPATH=/usr/local/java/jdk1.6.0_30/lib:/usr/local/java/jdk1.6.0_30/jre/lib:.

export PATH

export CLASSPATH 

（这里要根据你的安装目录更改）

8.最后测试JDK 是否安装成功：重启系统，输入 java -version如果输出java版本号则说明安装成功。

二．安装ssh

1.首先输入ssh localhost看系统是否安装了ssh。

2.如果没有安装则用如下命令安装：sudo apt-get install openssh-server 

3.安装后用ssh loclahost 查看是否安装成功。

三．安装hadoop并运行

1.下载hadoop，我用的是hadoop-1.0.1.tar.gz

2.建立安装目录：sudo mkdir /home/hadoop

3.复制到目录：sudo cp /home/lc3/Desktop/hadoop-1.0.1.tar.gz  /home/hadoop

4.改变权限：sudo chmod a+rx /home/hadoop

5.进入目录，安装：sudo cd /home/hadoop   sudo tar -xzvf  hadoop-1.0.1.tar.gz

6.配置hadoop：先进入目录下 cd /home/hadoop/hadoop-1.0.1/conf

编辑hadoop-env.sh文件：vi hadoop-env.sh

在最后加入java路径，export JAVA_HOME=/usr/local/java/jdk1.6.0_30

编辑core-site.xml文件：vi core-site.xml

在文件中加入

<property>

      <name>fs.default.name</name>

      <value>hdfs://localhost:9000</value>

  </property>

编辑hdfs-site.xml文件：vi hdfs-site.xml

在文件中加入

<property>

      <name>dfs.replication</name>

      <value>1</value>

     </property>

编辑mapred-site.xml文件：vi mapred-site.xml

在文件中加入

<property>

      <name>mapred.job.tracker</name>

      <value>localhost:9001</value>

</property>

7.这样hadoop就配置好了，下面启动hadoop。

首先进入hadoop安装目录：cd /home/hadoop/hadoop-1.0.1

接着格式化hadoop文件系统：bin/hadoop namenode -format

然后启动hadoop ：bin/start-all.sh

验证hadoop是否安装成功，打开ubuntu的浏览器分别输入

http://localhost:50030    (MapReduce的Web页面) 

http://lcoalhost:50070    (HDfS的web页面) 

如果能正常打开则安装成功。

8.运行hadoop自带的wordcount程序

首先进入hadoop安装目录：cd /home/hadoop/hadoop-1.0.1

接着建立一个目录： mkdir input

将要count的文件复制到这个目录中：cp conf/* input （我是将conf目录的文件复制到这个目录下）

运行程序：bin/hadoop jar hadoop-examples-1.0.1.jar  wordcount input output

（input为要count的文件目录，output为输出的目录，output要先清空或删除）

查看文件结果：bin/hadoop fs -cat output/*

9.关闭hadoop。

在hadoop安装目录下输入：bin/stop-all.sh