单点本地模式安装 Hadoop

系统要求：
OS: Linux (Ubuntu preferable)
Admin accounter: hadoopAdmin
Hostname: hadoopNode01

添加管理用户

添加用户hadoopAdmin

$sudo useradd -m hadoopAdmin -s /bin/bash
$sudo passwd hadoopAdmin 

赋给用户hadoopAdmin管理员权限

$sudo adduser hadoopAdmin sudo

单点本地安装hadoop

安装java7

$sudo apt-get install openjdk-7-jdk#
$java version #验证是否成功

若错误提示不能定位安装包，更新安装源

$sudo apt-get update

若仍然提示不能定位安装包，可能是Ubuntu版本太高，建议使用14.04，或者手动安装。

创建用户hadoopUser

先创建用户组hadoopGroup，在该用户组下创建用户hadoopUser，用这个用户安装和运行Hadoop。

$sudo groupadd hadoopGroup
$sudo useradd -g hadoopGroup -m hadoopUser
$sudo passwd hadoopUser
$sudo chsh -s /bin/bash hadoopUser

安装Hadoop

下载Hadoop

切换到hadoopAdmin（因为下载需要管理员权限）下载Hadoop，解压，并将解压后文件重命名为Hadoop

$su - hadoopAdmin
$cd /usr/local
$sudo wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
$sudo tar xzf hadoop-1.2.1.tar.gz
$sudo mv hadoop-1.2.1 hadoop

使hadoopUser成为hadoop文件的拥有者

让hadoopUser成为hadoop安装文件的拥有人，可以在hadoopUser用户下修改hadoop的配置文件，然后切换回hadoopUser

$sudo chown -R hadoopUser:hadoopGroup hadoop
$su hadoopUser

创建环境变量

通过把下面内容加到/home/hadoopUser/.bashrc文件，创建Hadoop和Java的环境变量，添加Hadoop脚本到$PATH变量

export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export PATH=$PATH:$HADOOP_HOME/bin

执行以下命令，是环境变量生效

~/.bashrc

添加/更新以下内容到$HADOOP_HOME/conf/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_OPTS=-Djava.net.perferIPv4Stack=true

测试

通过运行一个MapReduce任务，测试Hadoop的安装。

下载案例

下载测试案例wordcount到 /tmp/gutenberg

$mkdir -p /tmp/gutenberg
$wget http://www.gutenberg.org/files/5000/5000-8.txt -p /tmp/gutenberg/

运行案例

$cd $HADOOP_HOME
$hadoop jar hadoop*examples*.jar wordcount /tmp/gutenberg /tmp/gutenberg-output

查看结果

$ls /tmp/gutenberg-output

显示 part-r-00000 _SUCCESS表示运行正常

$less /tmp/gutenberg-output/part-r-00000

输出如下两列清单，第一列是单词，第二列是计数

"(Lo)cra" 1
"1490 1
"1498,"1
"35" 1
"40," 1
"AS -IS". 1

若出现报错，可尝试将hostname修改为localhost。