配置hadoop单机模式

2019独角兽企业重金招聘Python工程师标准>>>

我使用的是limux mint 15 的系统，hadoop使用1.2.1版本。

首先在/etc/profile中配置好java环境：

export JAVA_HOME=/home/user/app/jdk/
export JRE_HOME=/home/user/app/jdk/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

重启或者

source /etc/profile

后生效。

设hadoop解压后的目录为~/hadoop-1.2.1，hadoop默认使用环境变量中的JAVA_HOME，默认也是单机模式，我们要做的就是使用wordcount测试一下即可。在~下建立目录test，在test目录中建立目录input，创建两个文件并加入内容：

$ echo "hello world" >test/input/test1.txt 
$ echo "hi,world" > test/input/test2.txt

在~下运行命令：

./hadoop-1.2.1/bin/hadoop jar ./hadoop-1.2.1/hadoop-examples-1.2.1.jar wordcount  test/input/  test/output

运行结束后，会在test目录下生成output目录，output目录下会有4个文件：

$ ls -a  test/output/
.  ..  part-r-00000  .part-r-00000.crc  _SUCCESS  ._SUCCESS.crc

查看part-r-00000中的内容：

$ cat test/output/part-r-00000 
hello	1
hi,world	1
world	1

_SUCCESS文件内容为空。

转载于:https://my.oschina.net/letiantian/blog/170640