2.Hadoop集群环境搭建

ps.集群一般公司都会搭建好，除非你去的是初创型公司

1.准备模板机hadoop100

1: 虚拟机安装Centos7版本系统，内存4G(2G),硬盘建议50G（20G），安装基础设置服务器

2：关闭防火墙，永久关闭

   关闭：        systemctl stop firewalld
   关闭不在启动：systemctl disable firewalld
   查看防火墙的状态：systemctl status firewalld

3： 修改配置文件: vim  /etc/sysconfig/network-script/ifcfg-ens33

固定IP地址，修改 dhcp为static，

配置IP地址，网关，DNS1

重启网卡: systemctl restart network

4: 配置机器名 配置文件 vim /etc/hostname

配置为hadoop100,重启虚拟机才能生效（reboot）

5: 创建账户atguigu，密码为123456

useradd atguigu

passwd atguigu

6: 提升atguigu账户权限，免密执行

修改配置文件vim  /etc/sudoers zhangsan

在其中添加：ALL=(ALL) NOPASSWD:ALL

7: 创建目录

/opt/software 目录，用于存储软件包

 /opt/module 目录，用于软件包的解压

8：改变目录权限

修改拥有者和所属组，改为atguigu

chgrp atguigu software

chown atguigu software

9: 修改hosts文件

windows要改，Linux也要改

92.168.254.100 hadoop100

192.168.254.101 hadoop101

192.168.254.102 hadoop102

192.168.254.103 hadoop103

192.168.254.104 hadoop104

修改Windows的配置文件，目的：使用xshell连接Linux的时候，直接写机器名

修改Linux的配置文件，做服务器集群（Linux系统之间找到对方）

从连接Linux，使用atguigu登录

10：克隆

从101机器克隆三台机器，101,102,103

101,102,103 IP地址修改，修改机器名

2.单机搭建hadoop环境

在hadoop101上搭建hadoop环境：

1：软件包jar包（包括jdk与hadoop），传递到101机器的 /opt/software目录下(通过xfpt)

2：解压缩jdk.tar.gz,解压到 /opt/module下

    tar -xvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3：配置JDK的环境变量 JAVA_HOME

   配置环境变量自定义shell脚本,将 脚本文件放到目录 profile.d下：创建文件 my_env.sh

    JAVA_HOME=/opt/module/jdk1.8.0_212
     export JAVA_HOME
     PATH=$PATH:$JAVA_HOME/bin

重写加载配置文件：Linux系统命令 source 从新加载 /etc/profile

ps.这一块很重要，相当于刷新的过程，但我老是忘

source /etc/profile

4：配置hadoop环境变量

解压缩hadoop.tar.gz 解压到 /opt/module下

HADOOP_HOME=/opt/module/hadoop-3.1.3
export HADOOP_HOME
PATH=$PATH:$HADOOP_HOME/bin
PATH=$PATH:$HADOOP_HOME/sbin