Hadoop2.5.1在Ubuntu14中的伪分布配置+wordcount测试+eclipse环境配置

  Hadoop2.5.1在Ubuntu14中的伪分布配置+wordcount测试+eclipse环境配置

一. 安装前须知

系统：Ubuntu14.04(64位)

Hadoop安装包：hadoop-2.5.1.tar.gz

Java jdk：jdk1.8.5

Eclipse: eclipse-standard-luna-R-linux-gtk-x86_64.tar.gz

Eclipse上的hadoop插件：hadoop2x-eclipse-plugin-master.zip

以上涉及的安装软件存在百度网盘：http://pan.baidu.com/s/1jGEEU

二.  Hadoop伪分布搭建

1.    建立hadoop用户组、添加用户-hadoop：

  sudo addgroup hadoop

  sudo adduser –ingroup hadoop hadoop:按照提示输入向hadoop用户组新增的hadoop 用户密码。

2．为hadoop用户添加用户权限

     输入：sudo gedit  /etc/sudoers

     回车，打开sudoers文件

     给hadoop用户赋予和root用户同样的权限:

          在此行  root  All = (ALL:ALL) ALL 后添加一行：

          hadoop  All = (ALL:ALL) ALL  (意思：允许hadoop用户sudo运行任何命令)

      保存sudoers文件

3. 用新增加的hadoop用户登录Ubuntu系统（important！！），切换登录用户就好！

4． 安装ssh

输入：sudo apt-get install openssh-server

安装完成后，启动服务：sudo  /etc/init.d/ssh start

查看服务是否正确启动：ps -e | grep ssh

设置免密码登录，生成公钥和私钥：ssh-keygen -t rsa -P  ""  （一直按回车，此时会在/home/hdoop/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥。）

紧接着，将公钥追加到authorized_keys中，它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容：

cat  ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys  

登录ssh（测试是不是无密码登录，若提示密码登录，则按ssh配置步骤重新配置）：

ssh localhost

退出 ssh登录，输入：exit（退出连接）

5. 安装jdk，配置java环境

(1)把下载的jdk安装包解压到/usr/local/jvm/目录下:

切换目录：cd /usr/local/jvm/  (其他路径也可以)

解压文件：sudo tar -zxf  jdk-8u25-linux-x64.tar.gz

(2)设置jdk环境

·        打开/etc/profile：

sudo gedit /etc/profile

·        加入以下代码（根据实际安装目录更改路径）：

export JAVA_HOME=/usr/local/jvm/jdk1.8.0_25