Hadoop平台搭建

 一.创建虚拟机

1.按虚拟机向导步骤创建第一台虚拟机（命名为MASTER）

2.分别克隆两台机子，分别命名为Slave01和Slave02

（1）克隆

注意：第一台虚拟机MASTER处于关机状态下

 此操作再次重复 ，完成两台虚拟机创建

（2）设置新的ip地址和mac地址

 克隆的两台虚拟机操作一致 

二、MobaXterm远程连接虚拟机

开启虚拟机

1.查询ip地址

ip addr

2.打开MobaXterm进行连接 

修改远程的虚拟机名字 

另外两台与以上操作相同 

三、关闭防火墙

三台虚拟机同时操作

1.查看防火墙状态

systemctl status firewalld.service

2.关闭运行的防火墙 

systemctl stop firewalld.service

 3.禁用防火墙 

systemctl disable firewalld.service

停止和禁用后需查看当前防火墙状态

四、关闭NetworkManager服务 

1.查看NetworkManager服务

systemctl status NetworkManager

2.关闭NetworkManager服务 

systemctl stop NetworkManager

3.禁用NetworkManager服务

目的：防止下次打开虚拟机时，NetworkManager服务再次开启

systemctl disable NetworkManager

停止和禁用后需查看当前NetworkManager服务状态 

五、配置静态ip 

vi /etc/sysconfig/network-scripts/ifcfg-ens32 

i进入编辑模式

编辑后esc退出编辑模式

:wq保存修改并退出文件 

2.重启网络

systemctl restart network

3.测试网络是否连通

ping www.baidu.com 

六、ip地址和主机名的映射

目的：使用主机名就可锁定虚拟机（不必须使用ip地址）

1.映射

使用root用户修改/etc/hosts文件 —— 删除原来内容（dd），写入内容

        注：每台虚拟机都要进行

vi /etc/hosts 

2.分别测试是否能正确解析出ip地址 

ping MASTER

ping Slave01 

ping Slave02 

七、免密登录设置

1.生成公钥密钥对

        注：每台虚拟机都要设置

（1）生成密钥对

ssh-keygen

2）查看是否生成

在root目录下，查看所有文件（包括隐藏文件）

ls -a

进入.ssh隐藏目录

cd .ssh 

查看目录下文件

ls 

分别为公钥（id_ras.pub）和私钥（id_ras） 

2.将秘钥拷贝到其他虚拟机

ssh-copy-id Slave01

ssh-copy-id Slave02 

3.测试虚拟机见是否能免密登录 

八、配置JDK环境

1.下载JDK安装包和hadoop3.1.4

2.为压缩包和软件包专门创建两个文件夹

cd /opt
mkdir software
mkdir module

3.将JDK安装包和hadoop3.1.4上传到压缩包文件夹下

4.在/opt/software下解压JDK安装包和hadoop3.1.4到/opt/mudule

cd /opt/software
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /opt/module
tar -zxvf hadoop-3.1.4.tar.gz -C /opt/module 

查看是否解压完成

ls 

 5.配置环境变量

（1） 打开环境变量配置文件

 vi /etc/profile.d/my_env.sh

（2）将内容填入 

#jdk环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH
#hadoop环境变量
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

（3）刷新环境变量 

 source /etc/profile

（4） 测试JDK环境变量的配置 

java -version

（5） 测试hadoop环境变量的配置

hadoop version 

（6） 将第一台虚拟机的JDK安装包和hadoop3.1.4软件包以及环境变量配置文件传给其余两台虚拟机

scp -r jdk1.8.0_161/ slave3:/opt/module/
scp -r jdk1.8.0_161/ slave4:/opt/module/
scp -r hadoop-3.1.4/ slave3:/opt/module/
scp -r hadoop-3.1.4/ slave4:/opt/module/
scp -r /etc/profile.d/my_env.sh slave3:/etc/profile.d/
scp -r /etc/profile.d/my_env.sh slave4:/etc/profile.d/ 

（7）刷新环境变量生效 

source /etc/profile