部署单机版Hadoop

一、环境准备：

1、一台服务器，主机名为nn01，IP为192.168.1.21

2、安装JAVA环境

yum -y install java-1.8.0-openjdk-devel.x86_64 java-1.8.0-openjdk.x86_64

二、安装Hadoop

1、tar -xf hadoop-2.7.6.tar.gz

2、mv hadoop-2.7.6 /usr/local/hadoop

cd /usr/local/hadoop/

./bin/hadoop

报错   Error: JAVA_HOME is not set and could not be found.

这里我们就要检查一下java环境是否已安装。如果已安装。那么检查配置文件的设置了

cd etc/hadoop/

vim hadoop-env.sh

修改java-home，和工作目录这2个参数

查询java的工作目录

rpm -ql java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64

修改以后，再次运行./bin/hadoop

就会跳出提示信息，主要是hadoop这个命令的用法相关

其实单机版的hadoop，就安装完毕了。那么我们来测试一下其运算功能

三、使用Hadoop进行词频计算

mkdir aa   创建一个目录

cp *.txt aa/     把一些txt文档copy到aa目录里面

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount aa bb

hadoop运行jar脚本对aa目录里面的数据进行词频统计运算，结果放到bb目录里

cat bb/part-r-00000   运算结果