Linux安装Hadoop3.3.1教程（亲测有效）

一、安装

1.进入文件夹

cd /usr/loacl

2.上传文件

rz

3.解压文件

 tar -zxvf hadoop-3.3.1.tar.gz 

二、配置（单机）

1.配置环境变量

vim /etc/profile

添加一下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

环境生效：

source /etc/profile 

查看hadoop版本，验证是否安装成功

hadoop version

2.修改 hadoop-env.sh配置文件

 vim  /hadoop-3.3.1/etc/hadoop/hadoop-env.sh

加入如下配置

export JAVA_HOME=/usr/local/java/jdk1.8.0_202 
export HADOOP_HOME=/usr/local/hadoop-3.3.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

3.修改 hdfs-site.xml 配置文件

 vim  /hadoop-3.3.1/etc/hadoop/hdfs-site.xml

添加如下配置 

<configuration>
    <!--设置名称节点的目录-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.1/tmp/namenode</value>
    </property>
    <!--设置数据节点的目录-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.1/tmp/datanode</value>
    </property>
    <!--hdfs web的地址，默认为9870，可不配置-->
    <!--注意如果使用hadoop2，默认为50070-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:9870</value>
    </property>
    <!--是否启用hdfs权限，当值为false时，代表关闭-->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>
 

4. 配置 core-site.xml

 vim /hadoop-3.3.1/etc/hadoop/core-site.xml

加入如下内容,在标签内

<property> 
       <name>hadoop.tmp.dir</name>
       <value>file:/usr/local/hadoop-3.3.1/tmp</value>
       <description>location to store temporary files</description>
   </property>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>

5.初始化

hdfs namenode -format 

6 启动namenode和datanode

进入如下目录

cd /sbin 

启动指令

./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode

三、开机自启

1.进入/etc/rc.d/init.d目录

cd /etc/rc.d/init.d 

 2.新建文件hadoop

touch hadoop 

3.添加以下内容，只在master配置即可

#!/bin/bash
#chkconfig:345 61 61
#description:Apache
export JAVA_HOME=/usr/local/jdk1.8.0_202
 su root /usr/local/hadoop-3.3.1/sbin/hadoop-daemon.sh start namenode;
 su root /usr/local/hadoop-3.3.1/sbin/hadoop-daemon.sh start datanode;

4.给文件设置权限 

chmod 777 hadoop  

5.加入开机自启列表  

chkconfig --add hadoop 

6.查看列表 

chkconfig --list 

四、开放防火墙 

1.查看防火墙状态

firewall-cmd --state

2.开放9870端口

firewall-cmd --zone=public --add-port=9870/tcp --permanent

firewall-cmd --zone=public --add-port=50070/tcp --permanent

3.重新加载服务

 firewall-cmd --reload

4.查看端口号是否开放

firewall-cmd --zone=public --list-port