hadoop3.1.3集群搭建（基于Flink电商项目实战）

介绍

本文这里的hadoop3.1.3的集群仅仅指hadoop本身的搭建，不涉及到其他框架整合；Flink实时电商实战项目中HDFS部分是基于此版本，B站上有这个版本的安装视频：
Flink实时电商项目实战
项目框架链接
提取码：whqf
gitee地址

搭配环境

VMware16（注意不要使用15，容易蓝屏，如果出现蓝屏，大概率是系统兼容性问题，建议改用16，激活码搜索即可，很方便）
安装硬件，安装虚拟机；

账户：root 密码：root

用户名：chenxu 密码：root

配置IP时要注意：VMware、win10、Hadoop都要配置；

Hadoop静态IP地址更改

进入终端命令行：su root （输入密码）

输入命令：vim etc/sysconfig/network-scripts/ifcfg-ens33

dhcp表示动态获取IP地址，改为static；

增加内容：

#IP地址

IPADDR=192.168.10.100 #100表示hadoop100

#网关

GATEWAY=192.168.10.2

#域名解析器

DNS1=192.168.10.2

输入完之后按一下ESC进入EX模式，输入wq保存并退出；

• 配置主机名称：vim /etc/hostname

• 配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts;(这么做的目的是为了让)以后修改IP时方便修改；

• 加入以下内容:

IP地址及hostname：

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107

• 重启克隆机
• 切换root用户，ifconfig指令查看IP是否配置好；

模板虚拟机准备

远程控制Xshell安装完毕后，连接远程服务器；

账号密码：root；

配置主机名称映射，进入"C:\Windows\System32\drivers\etc"路径下的hosts文件中，加入之前加入的IP和主机名称内容；

可以先修改hosts文件的属性，改为可更改后再修改；(也可以直接复制出来修改，修改完之后再粘贴回去)

下载Xftp（从windows传输文件到虚拟机种）；

安装epel-release；

yum install -y epel-release

关闭防火墙自启动：

• systemctl stop firewalld
• systemctl disable firewalld.service

创建一个系统用户，并修改用户密码：（安装时已创建，不需要再创建）

useradd 用户名

passwd 密码

给用户赋予root权限：

输入命令vim /etc/sudoers

找到%wheel ALL=(ALL) ALL这一行，在下一行加上

用户名 All=(ALL) NOPASSWD:ALL

其中，nopass表示以后不需要密码，可获得root权限，也可以不加NOPASS；

后续使用用户时，加上sudo，有root效果；

切换root账号：

卸载对应安装的JDK

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

其中rpm -qa | grep -i java命令是一个遍历查询指令；

重启虚拟机；

克隆虚拟机：

​ 先克隆3台：hadoop100、hadoop102、hadoop103、hadoop104；

先关闭现行的虚拟机，再克隆；

​ 在VMware列表中删除，并不会直接删除源文件，要选择在磁盘中删除；

进入新生成的克隆虚拟机，进入root权限后，只需要再次输入命令

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改IPADDR，之后输入命令vim /etc/hostname 修改hostname；

输入命令 vim /etc/hosts(之前已经修改完毕，可以不用动)；

Hadoop102部署JDK

部署完之后，拷贝至其他；

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

解压文件至…目录；

配置JDK环境变量；

cd /etc/profile.d进入特定文件夹中，创建一个文件sudo vim my_env.sh，不要更改原文件；

进入存放JDK的module目录下，运用pwd命令找到JDK的路径；

在my_env.sh文件中写上：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

接下来

source /etc/profile

部署hadoop

解压安装

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置环境变量

找到hadoop的目录，pwd获得路径；

cd /etc/profile.d/my_env.sh 进入之前创建好的文件，

添加内容：

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

然后输入source /etc/profile

注意etc、bin、sbin目录，以后要用到；

完全分布式运行模式；

1、准备3台客户机

2、安装JDK/etc

4、安装hadoop

5、配置环境变量

6、配置集群

7、单点启动

8、配置ssh

9、群起并测试集群

hadoop102已经准备好了，现在的目标就是将hadoop102拷贝至其他服务器；

命令 scp（完全拷贝）

​ 1、具体命令行为：scp -r $文件路径/名称 目的地用户@主机：目的地路径/名称；

scp -r hadoop-3.1.3 chenxu@hadoop103:/opt/module(从102复制到-103)

注意：如果其他服务器没有对应文件权限，赋予其module7