Hadoop集群在Ubuntu上的安装与配置 ——（01）环境前期准备

本文搭建的是Hadoop单节点伪分布式集群，单节点集群，即NameNode在server01上，其他5台机器均为DataNode
准备：VMware软件、六台Linux虚拟机(≥2台)、Xshell、Xftp

---

一、安装VMware及SSH工具

1.1 下载安装VMware及Linux

本文使用的是VMware11.0，现在VMware已经更新到了14.0，下载地址如下：

VMware14.0下载地址

1.2 Linux系统下载

本文使用的是Ubuntu14.04，Ubuntu官网下载地址如下：

Ubuntu官网下载地址
我将我的Linux系统打包了，可以直接用VMware导入打开，地址如下：

链接：hadoop—ubuntu14.04 密码：e38n

1.3 下载安装XShell5及Xftp5

为了方便写命令和向Linux传送文件，安装Xhell5和Xftp5可以方便操作。

Xshell5下载地址

Xftp5下载地址

二、Hadoop软件包下载

2.1 Hadoop软件下载

本文使用的hadoop是2.7.1,打开下载地址选择页面：
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
我使用的hadoop版本下载地址：
Hadoop-2.7.1下载

2.2 JDK软件下载

本文使用的JDK版本是1.8.0，下载地址：
JDK_1.8.0下载地址

如若未找到下载，JDK下载安装具体方法可以参考博文：
http://blog.youkuaiyun.com/pucao_cug/article/details/68948639

2.3 软件包集合下载

若找不到Hadoop开发需要下载的软件包，
可以下载我打包好的 ：
链接：https://pan.baidu.com/s/1ht2x3wg 密码：ibg5

三、 虚拟机Linux环境搭建

3.1 安装虚拟机Linux

方法一：

如果是从下载的Ubuntu官网的iso镜像，可以通过iso镜像新建Linux系统，方法网上（baidu）很多，所以就不详细介绍，方法如下长图。

方法二：

如果下载我导出的Linux虚拟机，可以通过直接打开虚拟机的方式新建，方法如下图,：

系统登录用户名为：root，密码为：1 。
同样的方法新建六台虚拟机，如下图：

3.2 修改Linux主机名

root@server01:~# vim /etc/hostname

![vim hostname

其他5台同样的修改主机名，分别为server02~server06 。

3.3 修改虚拟机IP地址

在虚拟机VMware菜单中“编辑(E)”->“虚拟网络编辑器(N)…”中，可以看到虚拟机配置的NAT模式属于VMnet8,所以需要获取VMnet8本地IP地址，然后配置虚拟机。

// 在主机电脑cmd命令下输入
ipconfig /all

由上可以看到VMnet8本地IP为192.168.159.x 网段，所以进行六台虚拟机IP地址设置。

root@server01:~# vim /etc/network/interfaces

例如，server01配置如下图：

六台虚拟机IP配置分别为：

server 0x	IP地址
server 01	192.168.159.3
server 02	192.168.159.4
server 03	192.168.159.5
server 04	192.168.159.6
server 05	192.168.159.7
server 06	192.168.159.9

修改过IP地址之后要激起修改文件，使其生效。

root@server01:~# ifdown eth0
root@server01:~# ifup eth0

3.4 Xshell连接虚拟机

修改过IP地址之后可以使用Xshell软件连接虚拟机，方便编辑。


可以通过Xftp传输文件。

3.5 修改hosts

在六台虚拟机中修改hosts文件，以server01为例。

root@server01:~# vim /etc/hosts

3.6 关闭防火墙

root@server01:~# iptables -P INPUT ACCEPT
root@server01:~# iptables -P FORWARD ACCEPT
root@server01:~# iptables -P OUTPUT ACCEPT
root@server01:~# iptables -F

输入完以上命令之后可以查看防火墙状态是否关闭。

root@server01:~# ufw status

3.7 SSH免登陆

分别对六台虚拟机配置SSH免登陆。
例如，在server06中进行配置。

//产生密钥对
root@server01:~# ssh-keygen -t rsa

//公钥复制到其他机器
root@server01:~# ssh-copy-id -i /root/.ssh/id_rsa.pub 用户名

用户名是至虚拟机各个节点，即server01~server06，包括自己，每台虚拟机都需要配置一遍。

配置完成后，可以使用如下命令切换到其他机器。

root@server01:~# ssh 用户名

使用 exit 命令可以退出当前切换的虚拟机。

---

以上步骤完成了Hadoop集群的安装环境前期准备工作，下一节将结束Hadoop软件安装及配置工作。