Hadoop集群实践-完整Hadoop分布式集群部署ubuntu-16.04.1+hadoop-2.7.3

超详细记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、Hadoop启动。

Hadoop欢迎页面：

集群规划：

主机名/hostname	IP	角色
master	192.168.182.129	ResourceManager/NameNode/SecondaryNameNode
slave1	192.168.182.130	NodeManager/DataNode
slave2	192.168.182.131	NodeManager/DataNode

1.0.准备

1.1.目录

• 用VMware创建3个Ubuntu虚拟机
• 用mobaxterm远程连接创建好的虚拟机
• 配置Ubuntu虚拟机源、ssh无密匙登录配置、jdk安装
• 配置Hadoop集群文件
• 启动Hadoop集群、在Windows主机上显示集群状态。

1.2.提前准备安装包

• Windows7（宿主操作系统）
• VMware-workstation-full-12.0.0-2985596.exe（虚拟机）
• ubuntu-16.04.1-server-amd64.iso 服务器版
• hadoop-2.7.3.tar.gz
• jdk-8u111-linux-x64.tar.gz
• xShell（远程连接工具）

2. VMvare安装Ubuntu16.04.1服务器版过程

2.1.注意在安装时username要一致如shun，即主机用户名。而主机名hostname可不同,如使用master,slave1,slave2区分hostname主机名。

2.2.VMvare安装Ubuntu16.04.1桌面版过程

2.3.在VMvare中选择 文件 然后 新建虚拟机

2.4选择典型安装

2.5.选择下载好的Ubuntu64位 16.04.1服务器版镜像,选择“安装程序光盘映射文件”，选择到“ubuntu-16.04.1-server-amd64.iso”镜像文件，下一步

2.6.个性化Linux设置，全名三个虚拟机都填写shun,用户名/密码填写shun/shun66，下一步

2.7.虚拟机命名及文件路径 master\slave1\slave2等，位置填写F:\VMData\Virtual Machines\master或者F:\VMData\Virtual Machines\slave1或者F:\VMData\Virtual Machines\slave2，下一步

2.8.磁盘分配，默认即可，磁盘大小可以根据自身硬盘空间调节（不要太小）

2.9.然后就是等待安装完成，输入登录名 shun登录密码**…

建立好的虚拟机如下:

通过ifconfig命令查看每台服务器IP地址:
IP 192.168.182.129   默认主机名ubuntu
IP 192.168.182.130   默认主机名ubuntu
IP 192.168.182.131   默认主机名ubuntu
下一步会修改主机名hostname
   
   
   

    
1
    
2
    
3
    
4
    
5
   
   
   
   

    
1
    
2
    
3
    
4
    
5
   

3. 配置Ubuntu系统（服务器版在VMware中操作不方便，通过远程在putty或者MobaXterm操作比较快捷些）

3.1 安装ssh即可。这里不需要 ssh-keygen。

打开终端或者服务器版命令行 
查看是否安装（ssh）openssh-server，否则无法远程连接。

sshd
sudo apt install openssh-server
   
   
   

    
1
    
2
   
   
   
   

    
1
    
2
   

3.2.安装ssh后，可以通过工具（xShell）远程连接已经建立好的服务器（master，slave1，slave2）

同样三个虚拟机建立连接

3.3.更换为国内源（清华大学帮助文档）

在master、slave1、slave2中

shun@ubuntu:~$ sudo vi /etc/apt/sources.list
   
   
   

    
1
   
   
   
   

    
1
   

# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse

# 预发布软件源，不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse
   
   
   

    
1
    
2
    
3
    
4
    
5
    
6
    
7
    
8
    
9
    
10
    
11
    
12
    
13
   
   
   
   

    
1
    
2
    
3
    
4
    
5
    
6
    
7
    
8
    
9
    
10
    
11
    
12
    
13
   

更新源

shun@ubuntu:~$ sudo apt update
   
   
   

    
1
   
   
   
   

    
1
   

3.4.安装vim编辑器，默认自带vi编辑器

sudo apt install vim
   
   
   

    
1
   
   
   
   

    
1
   

更新系统（服务器端更新量小，桌面版Ubuntu更新量较大，可以暂时不更新）

sudo apt-get upgrade
   
   
   

    
1
   
   
   
   

    
1
   

3.5.修改Ubuntu服务器hostname主机名，主机名和ip是一一对应的。