Linux Hadoop集群搭建步骤

一、可以官方下载工具

    操作系统：Centos5\6\7
    Hadoop版本：2.x
    Java版本: jdk-8u251-linux
    VMware版本：16.x

二、开始第二环节

    1.创建虚拟机
    2.修改网卡
    3.配置hosts
    4.配置网络名+修改hostname
    5.关掉网络管理
    6.关掉Linux的内核防火墙
    7.关闭linux防火墙，禁用其开机启动
    8.重启，再次查看selinux

三、配置hadoop配置文件

     1、hadoop文件解压安装后，涉及配置文件修改有：

    core-site.xml、
    hdfs-site.xml、
    mapred-site.xml、
    yarn-site.xml、
    slaves文件

    2、vim ~/.bashrc  修改环境变量

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin
​
#HADOOP
export HADOOP_HOME=/opt/module/hadoop-2.6.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

3、改hosts文件

C:\Windows\System32\drivers\etc

在hosts文件中增加访问

192.168.1.1 master

192.168.1.2 slave1

192.168.1.3 slave2

四、启动hadoop集群

各种配置修改好后，就可以启动hadoop集群服务

start-all.sh 启动没有报错就存在4个进程

看到如下进4个进程号：

2208 ResourceManager

2467 Jps

2059 SecondaryNameNode

1884 NameNode

然后浏览器访问

master:8088

master:50070