hadoop集群搭建详细过程（完全分布式）

目录

 

一、准备

二、具体过程

1.三台虚拟机的初始设置

2.配置SSH免密登录

3.安装JDK

4.安装Hadoop

三、参考文章

---

一、准备

1.vmvare虚拟机工具

2.Ubuntu系统镜像

3.hadoop安装包（官网下载：https://hadoop.apache.org/releases.html，要适配机器就下载源码自己编译，否则下载已经编译的，会减少工作量）

4.Ubuntu下的jdk（官网下载：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html）

二、具体过程

1.三台虚拟机的初始设置

搭建分布式主要用三台虚拟机：master、slave1、slave2，可以先不进行克隆，等一台机器配置好后克隆再到相应的机器去修改。

（1）配置名称：

sudo gedit /etc/hostname

（重启后生效，可以用source /etc/hostname立即生效）

注：使用

hostname 机器名

只是临时起作用，重启后机器还是原先的名称

（2）配置IP

使用如下命令（使用sudoers是为了让用户获得修改权限）：

sudo gedit /etc/hosts

192.168.78.151	master
192.168.78.152	slave1
192.168.78.153	slave2

上述是对应机器的IP，为了机器能找到集群中的其他机器，这的IP的子网地址不能随便写必须先打开你的vmvare查看自己的网卡的子网网段和子网网关后设置本机IP：

接着打开NAT设置查看网关地址，然后打开机器的网络设置（没有图形界面的只能百度怎么用命令行改本机IP了），更改本机的IP地址：

点击设置按钮后出现下图界面，切换到IPv4的选项卡，按照图片设置（这的IP需要你根据自己vmvare的IP去设置，不然会出现上不了网的情况），重启后IP更新。

在克隆完三台机器后按上述操作将对应机器再次修改。

注：网上的教程有的会让新建用户Hadoop，然后给该用户加权限，编辑/etc/sudoers文件（复制root那一行，并将root改为你的用户名放在root行下）。如果你真的不小心编辑了，恭喜你，很可能出错，编辑该文件必须使用系统自带的visudo工具，进入后的操作标签在下方会给出，注意是Ctrl+命令名。