Hadoop集群部署

实验环境Centos7
使用Hadoop-2.10.1和jdk-15搭建4个结点的完全分布式,一个namenode，3个datanode
192.168.6.76 master
192.168.6.77 master77
192.168.6.78 master78
192.168.6.79 master79
1.首先做好准备工作
下载好hadoop和jdk版本

2.创建虚拟机和用户
创建一个虚拟机master和hadoop用户，hadoop组，创建这些是为了便于管理且安全。
给hadoop用户赋予root用户同样的权限
输入visudo
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL

使用以下命令创建

groupadd hadoop
useradd hadoop -d /home/hadoop -g hadoop

3.永久关闭防火墙
先查看防火墙状态systemctl status firewalld.service
如果还在运行则关闭防火墙systemctl stop firewalld.service
禁用防火墙systemctl disable firewalld.service
4.将hadoop和jdk传至虚拟机中
如果安装过Vmware Tools则可以直接从本机将文件拖如虚拟机中。如果没有，可以使用传输工具进行传输，例如xshell或其他工具，记下文件的位置。
传输完成后创建目录，将hadoop和jdk分别放在hadoop和Java目录中（如果创建了用户则需要注意创建的文件和目录的权限问题，即使用集群的用户一定要有权限）
mkdir /home/hadoop/hadoop-2.10.1
mkdir /home/java/jdk-15
mv /… /home/hadoop/hadoop-2.10.1
mv /… /home/java/jdk-15
将hadoop和jdk分别解压
tar -zxvf /home/hadoop/hadoop-2.10.1/ hadoop-2.10.1.tar.gz(路径可以自己修改，对应即可)
tar -zxvf /home/java/jdk-15/jdk-15_linux-x86_bin.tar.gz
5.配置环境变量
vi /etc/profile 编辑环境变量配置文件，添加或修改环境变量（有些系统可能有jdk工具，不要使用系统安装的openjdk，使用自己的jdk）。
添加jdk和hadoop的环境变量（路径设置为自己存放的目录）

#set java en