5、Hadoop搭建（分布式版本）

Hadoop集群搭建（分布式版本）

一、准备工作

• 三台虚拟机：master、node1、node2

• 时间同步

  ntpdate ntp.aliyun.com
  

• jdk1.8

  java -version
  

• 修改主机名

  三台分别执行 vim /etc/hostname 并将内容指定为对应的主机名
  

• 关闭防火墙：systemctl stop firewalld

  • 查看防火墙状态：systemctl status firewalld
  • 取消防火墙自启：systemctl disable firewalld

• 静态IP配置

  • 直接使用图形化界面配置（不推荐）

  • 手动编辑配置文件进行配置

    1、编辑网络配置文件
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    
    TYPE=Ethernet
    BOOTPROTO=static
    HWADDR=00:0C:29:E2:B8:F2
    NAME=ens33
    DEVICE=ens33
    ONBOOT=yes
    IPADDR=192.168.100.100
    GATEWAY=192.168.190.2
    NETMASK=255.255.255.0
    DNS1=192.168.100.2
    DNS2=223.6.6.6
    
    需要修改：HWADDR（mac地址,centos7不需要手动指定mac地址）
    		IPADDR（根据自己的网段，自定义IP地址）
    		GATEWAY（根据自己的网段填写对应的网关地址）
    
    2、关闭NetworkManager，并取消开机自启
    systemctl stop NetworkManager
    systemctl disable NetworkManager
    
    3、重启网络服务
    systemctl restart network
    

• 免密登录

  # 1、生成密钥
  ssh-keygen -t rsa
  # 2、配置免密登录
  ssh-copy-id master
  ssh-copy-id node1
  ssh-copy-id node2
  # 3、测试免密登录
  ssh node1
  

• 配置好映射文件：/etc/hosts

  192.168.100.100 master
  192.168.100.101 node1
  192.168.100.102 node2