Ubuntu14.04下安装hadoop2.6.0(单机模式）

最新推荐文章于 2021-05-13 16:45:42 发布

原创最新推荐文章于 2021-05-13 16:45:42 发布 · 309 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍如何在Ubuntu系统上创建Hadoop用户和组，并完成Hadoop 2.6.0的安装配置过程，包括安装JDK、SSH免密配置、环境变量设置及WordCount示例运行。

在Ubuntu上创建hadoop组，在hadoop组内添加hadoop用户

sudo addgroup hadoop

sudo adduser -ingroup hadoop hadoop

2. 为hadoop用添加权限， sudo vi /etc/sudoers，在

root ALL=(ALL:ALL) ALL 这行下面添加

hadoop ALL=(ALL:ALL) ALL

3. 用新增加的hadoop用户登录Ubuntu.以下的操作都是以hadoop的身份操作的。

4.安装ssh:

sudo apt-get install openssh-server

安装完毕用

ps -e | grep ssh

查看 sshd 和ssh-agent有没有启动，如果没有启动，用命令

sudo /etc/init.d/ssh start 启动

设置免登录密码，先生成公钥和私钥：

ssh-keygen -t rsa -P ""

然后

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

测试一下，用ssh 登录本机：

ssh localhost

登录后退出：

exit

5. 安装JDK

sudo apt-get install openjdk-7-jdk

查看一下安装路径，用于在步骤7设置JAVA_HOME环境变量

update-alternatives --config java

显示安装的java在 /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java，我们只取/usr/lib/jvm/java-7-openjdk-amd64部分做为JAVA_HOME.

6. 安装hadoop2.6.0

从官方网站下载hadoop-2.6.0.tar.gz

tar xzvf hadoop-2.6.0.tar.gz

sudo mv hadoop-2.6.0 /usr/local/hadoop

sudo chmod 774 /usr/local/hadoop

7. 配置

7.1 修改~/.bashrc，注意，当前用户是hadoop。追加以下内容到~/.bashrc

#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib/native"
#HADOOP VARIABLES END