搭建VM的虚拟机下hadoop集群环境

前言

大家都知道，Hadoop的部署方式可分为

• 单机模式
• 伪分布式
• 完全分布式

本篇主要讲解的就是完全分布式。

搭建完全分布式的集群环境，需要多台的硬件设备，作为初学者，为了搭建集群去买多台电脑，多少有点不现实，所以这里我采用的是VM虚拟机，模拟搭建一个由三台机器组成的集群。

要想成功搭建hadoop的分布式环境，需要具备安装和操作VM虚拟机，使用Ubuntu系统的基本命令，Linux下安装Java以及Hadoop等相关技能。不过不会的话，也不用太担心，我会尽量把我的操作过程写得详细一点。

具体的搭建过程可以分为以下几个阶段：

• 安装虚拟机
• 安装和配置Ubuntu
• 安装和配置Java环境
• 安装和配置Hadoop

安装虚拟机

VMware Workstation 下载 http://rj.baidu.com/soft/detail/13808.html?ald
激活码百度一搜一大堆，这里就不写了，安装过程也比较简单，实在不会的，百度上也有图解的教程，请自行搜索。

安装和配置Ubuntu

Ubuntu 下载https://www.ubuntu.com/download

下面介绍如何在虚拟机中安装Ubuntu操作系统，我们需要安装三台虚拟机，分别命名为Hadoop Master（以下简称master），Hadoop Slave1（以下简称slave1）和Hadoop Slave2（以下简称slave2），以下以安装master为例

1、首先，打开安装好的虚拟机VMware Workstation 12 Pro（以下简称VM） 

2、依次点击 文件 → 新建虚拟机 

3、选择 自定义(高级)(C)，点击 下一步 

4、硬件的兼容性选择，使用默认的设置，直接点击 下一步 

5、点击 浏览，选择下载好的Ubuntu的iso文件，点击 下一步 

6、填写安装信息，点击 下一步 

7、命名虚拟机，为了方便我们后续识别，安装第一个系统时，我们命名使用Hadoop Master（当我们安装第二个和第三个系统时分别使用Hadoop Slave1和Hadoop Slave2，用于表示第一个是主服务器，第二个和第三个属于从服务器），点击浏览，选择一个本机的空间稍微大一点的目录用于存放我们安装系统的物理文件，点击 下一步 

8、处理器配置，根据自己机器的CPU情况来设置，比如我的是四核的，处理器数量就选择4，处理器的核心数量使用默认的1就行，点击 下一步 

9、设置内存，注意，必须是4MB的倍数，根据自己机器的内存来设置。比如，我的PC主机内存是8G，我为每台虚拟机设置1.5G（1536MB）的内存，主机剩余3.5G内存，这样主机不卡，虚拟机内存也足够使用。原则上说，给虚拟机设置的内存总和不要超过PC主机的物理内存就行，只不过设置太高，主机就会变慢。 

10、网络类型，这里选择使用桥接网络，因为我们需要主机与虚拟机与互联网，这三者都是通的，在安装的过程中，才不会遇到麻烦。 

11、I/O控制器和磁盘类型，都使用默认的选项即可，点击 下一步 
 

12、选择磁盘，选择创建新的虚拟磁盘，点击 下一步 

13、指定磁盘容量，也就是设置虚拟机系统占用主机的物理空间的大小，使用默认值即可。 

14、指定磁盘文件，默认即可，点击 下一步 

15、点击 完成，等待虚拟机系统安装完成，安装过程中，请保持网络畅通。

16、同理，安装另外两台虚拟机Hadoop Slave1和Hadoop Slave2，都安装好后，如下图 

17、分别设置每台虚拟机的固定IP，保证虚拟机与虚拟机与主机之间都能够相互ping通。具体操作这里就不赘述了，网上资料有很多，如果是公司电脑，让网络管理员帮忙设置下，如果是自己的机器，看下自己的路由器的IP分配情况 

18、我们要搭建一个由三台机器组成的集群，先配置虚拟机的hosts和hostname，以便虚拟机与虚拟机与主机之间不用使用IP，使用hostname就可以相互识别，很方便。

192.168.8.230    master
192.168.8.231    slave1
192.168.8.232    slave2
 
 
 

  
  
1
  
  
2
  
  
3
 
 
 
 
 

  
  
1
  
  
2
  
  
3
 
 

以master为例，通过命令：

hadoop@master:~$ vi /etc/hostname
 
 
 

  
  
1
 
 
 
 
 

  
  
1
 
 

设置为master，另外两台虚拟机分别设置为slave1和slave2 

hadoop@master:~$ vi /etc/hosts
 
 
 

  
  
1
 
 
 
 
 

  
  
1
 
 

三台虚拟机都设置成以下的配置 

19、配置三台虚拟机之间的SSH无密码登录

首先通过命令生成公匙：

hadoop@master:~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
 
 
 

  
  
1
 
 
 
 
 

  
  
1
 
 

将公匙添加到authorized_keys文件中：

hadoop@master:~$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
 
 
 

  
  
1
 
 
 
 
 

  
  
1
 
 

这样，localhost就可以无密码登录了，看下效果：

hadoop@master