hadoop3分布式环境基础搭建

本篇问hadoop3最基础搭建。

目录

一、hadoop简介

二、hadoop3伪分布式搭建

2.1 安装及配置

2.2 启动

2.3 测试

三、全分布式搭建

3.1 node01安装及配置

3.2 node02~node04配置

3.3 启动

3.3 测试

---

一、hadoop简介

二、hadoop3伪分布式搭建

在虚拟机上配置一台hadoop伪分布式环境（一台机器上配置namenode和datanode），测试的时候用windows下浏览器测试。

2.1 安装及配置

安装

在官网下载hadoop-3.1.2.tar.gz，地址为http://mirrors.hust.edu.cn/apache/ ，解压到/myapp目录下（集群中都需安装，这个软件为绿色版，解压后即可使用）:

tar -xzvf hadoop-3.1.2.tar.gz -C /myapp/

配置hadoop环境变量

vi /myapp/hadoop-3.1.2/etc/hadoop/hadoop-env.sh 

# 在最后一行添加如下内容（JAVA_HOME根据实际JAVA安装路径决定）：
export JAVA_HOME=/export/servers/jdk             # JAVA_HOME路径，可用echo $JAVA_HOME获得
export HDFS_NAMENODE_USER=root                   # 为hadoop配置三个角色的用户
export HDFS_DATENODE_USER=root
export HDFS_SECONDARYNAMEDODE_USER=root

配置主节点

vi /myapp/hadoop-3.1.2/etc/hadoop/core-site.xml 

 core-site.xml中configuration标签内容修改如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9820</value>       # 主节点名称和hadoop3的端口！
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/myapp/hadoop-3.1.2/temp</value>       # 自定义hadoop的临时目录，不修改为系统临时目录，容易丢失，比较危险
    </property>
</configuration>

配置副本放置策略

vi /myapp/hadoop-3.1.2/etc/hadoop/hdfs-site.xml 

hdfs-site.xml中configuration标签内容修改如下：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>                 # 表示放置的副本数，在此为伪分布式，所以为1，因为只有一台机器
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>   # secondary namenode 也配置到node01上（伪分布式）
        <value>node01:9868</value>
    </property>
</configuration>

配置从节点

vi /myapp/hadoop-3.1.2/etc/hadoop/workers     # hadoop3中为workers;hadoop2中为slaves

里面内容为从节点

node01   # 本机为从节点，整个文件只有这六个字母

2.2 启动

启动前配置

1）在启动前需要配置环境变量

在/etc/profile中添加

#set hadoop3 env
export HADOOP_HOME=/myapp/hadoop-3.1.2
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

从新加载环境变量使之生效

source /etc/profile

2）核对主机名

保证下面两个配置中的主机名要与2.1节中的主机名相同，这样才能正确启动

vi /etc/sysconfig/network
vi /etc/hosts

3）启动文件配置

在sbin/start-dfs.sh和sbin/stop-dfs.sh文件开头增加以下内容
        HDFS_DATANODE_USER=root
        HADOOP_SECURE_DN_USER=hdfs
        HDFS_NAMENODE_USER=root
        HDFS_SECONDARYNAMENODE_USER=root 
在sbin/start-yarn.sh和sbin/stop-yarn.sh文件开头增加以下内容
        YARN_RESOURCEMANAGER_USER=root
        HADOOP_SECURE_DN_USER=yarn
        YARN_NODEMANAGER_USER=root

启动

1）格式化文件系统 

使用下命令格式化文件系统（hadoop安装根目录执行）

./bin/hdfs namenode -format

成功后会在2.1节配置的临时目录中出现创建的元数据信息（在此为/myapp/hadoop-3.1.2/temp中）

2）启动集群

./sbin/start-dfs.sh

启动成功后输入“jps”命令可以看到启动的节点（都在一个机器上）。

2.3 测试

在windows上浏览器输入“192.168.182.140::9870”，即可打开hadoop主页。

上传文件

在hadoop安装的根目录执行

./bin/hdfs dfs -mkdir /first       # 在根目录下创建一个文件夹
./bin/hdfs dfs -put /work/hadoop-3.1.2.tar.gz /first # 随便上传一个文件到/first，建议文件不要太小

可以在浏览器中看到刚才上传的文件（位于/first中），如下图：

点击上图中的文件名可以看到配切成了3块。 

注意：上传的文件实际上存储在/myapp/hadoop-3.1.2/temp/dfs/data/current/BP-1961204165-192.168.182.140-1561111726585/current/finalized/subdir0/subdir0 目录下，即2.1节core-site.xml定义目录的子目录中。

三、全分布式搭建

与第二节伪分布式基本相同

在虚拟机上配置4台hadoop伪分布式环境（一台机器上配置namenode，三台作为datanode），测试的时候用windows下浏览器测试。

3.1 node01安装及配置

安装

在官网下载hadoop-3.1.2.tar.gz，地址为http://mirrors.hust.edu.cn/apache/ ，解压到/myapp目录下（集群中都需安装，这个软件为绿色版，解压后即可使用）:

tar -xzvf hadoop-3.1.2.tar.gz -C /myapp/

配置hadoop环境变量

vi /myapp/hadoop-3.1.2/etc/hadoop/hadoop-env.sh 

# 在最后一行添加如下内容（JAVA_HOME根据实际JAVA安装路径决定）：
export JAVA_HOME=/export/servers/jdk             # JAVA_HOME路径，可用echo $JAVA_HOME获得
export HDFS_NAMENODE_USER=root                   # 为hadoop配置三个角色的用户
export HDFS_DATENODE_USER=root
export HDFS_SECONDARYNAMEDODE_USER=root

配置主节点

vi /myapp/hadoop-3.1.2/etc/hadoop/core-site.xml 

 core-site.xml中configuration标签内容修改如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9820</value>       # 主节点名称和hadoop3的端口！
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/myapp/hadoop-3.1.2/temp_full</value>   # 自定义hadoop的临时目录，不修改为系统临时目录，容易丢失，比较危险，为了区分，与上面的文件夹名字不同
    </property>
</configuration>

配置副本放置策略

vi /myapp/hadoop-3.1.2/etc/hadoop/hdfs-site.xml 

hdfs-site.xml中configuration标签内容修改如下：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>  # 表示放置的副本数（不会放在同一节点上），在此有三台datanode，所以为3
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>   # secondary namenode 配置到node02上
        <value>node02:9868</value>
    </property>
</configuration>

配置从节点

vi /myapp/hadoop-3.1.2/etc/hadoop/workers     # hadoop3中为workers;hadoop2中为slaves

里面内容为从节点

node02   # 从节点为另外三台机器的计算机名，整个文件只有这三行
node03
node04

配置DNS地址解析

上面workers中配置的是其他节点的主机名，计算机并不知道他们的ip地址，所以需要在本地配置DNS解析

注意：所有集群机器都需要配置！

vi /etc/hosts

# 在文件后面添加如下信息
192.168.182.140 node01
192.168.182.141 node02
192.168.182.142 node03
192.168.182.143 node04

启动文件配置

在sbin/start-dfs.sh和sbin/stop-dfs.sh文件开头增加以下内容
        HDFS_DATANODE_USER=root
        HADOOP_SECURE_DN_USER=hdfs
        HDFS_NAMENODE_USER=root
        HDFS_SECONDARYNAMENODE_USER=root 
在sbin/start-yarn.sh和sbin/stop-yarn.sh文件开头增加以下内容
        YARN_RESOURCEMANAGER_USER=root
        HADOOP_SECURE_DN_USER=yarn
        YARN_NODEMANAGER_USER=root

3.2 node02~node04配置

复制node01配置好的文件到另外3台

转到hadoop上一目录（/myapp），执行下面命令，将hadoop安装目录复制到其他三台机器。其中ip地址为其他三台的ip地址。

scp -r hadoop-3.1.2/ root@192.168.182.141:/myapp/
scp -r hadoop-3.1.2/ root@192.168.182.142:/myapp/
scp -r hadoop-3.1.2/ root@192.168.182.143:/myapp/

另外3台机器环境变量配置

另外3台机器重做，2.2中的1）。

3.3 启动

在node01上启动，其他节点启动没试过。

1）格式化文件系统 （第一次启动时执行，以后不需要执行，除非配置文件发生改变）

使用下命令格式化文件系统（hadoop安装根目录执行）

注意：由于已经配置了hadoop的环境变量，下面命令可以不用输入全部路径，直接“hdfs xxxx”即可。

./bin/hdfs namenode -format

成功后会在2.1节配置的临时目录中出现创建的元数据信息（在此为/myapp/hadoop-3.1.2/temp中）

2）启动集群

./sbin/start-dfs.sh

启动成功后输入“jps”命令可以看到启动的节点（都在一个机器上）。

3.3 测试

在windows上浏览器输入“192.168.182.140:9870”，即可打开hadoop主页。