HADOOP-基础

一、Hadoop概述

1.1 Hadoop是什么

1. Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。

2. 主要解决，海量数据存储和海量数据的分析计算问题。

3. 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

1.2 Hadoop发展历史（了解）

1. Hadoop创始人Doug Cutting，为 了实 现与Google类似的全文搜索功能，他在Lucene框架基础上进行优化升级，查询引擎和索引引擎。

2. 2001年年底Lucene成为Apache基金会的一个子项目。

3. 对于海量数据的场景，Lucene框 架面 对与Google同样的困难，存储海量数据困难，检索海量速度慢。

4. 学习和模仿Google解决这些问题的办法 ：微型版Nutch。

5. 可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文）

​ GFS —>HDFS

​ Map-Reduce —>MR

​ BigTable —>HBase

1.3 Hadoop优势

1. 高可靠性：Hadoop底层维护多个数据副本，所以即时Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。

2. 高扩展性：在集群分配任务数据，可方便的扩展数以千计的节点。

3. 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

4. 高容错性：能够自动将失败的任务重新分配。

1.4 Hadoop组成（面试重点）

1.4.1 HDFS架构概述

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

1. NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。
2. DataNode(dn)：在本地文件系统存储文件块数据，以及块数据校验和。
3. Secondary NameNode(2nn)：每隔一段时间对 NameNode元数据备份。

1.4.2 YARN架构概述

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。

1. ResourceManager (RM)：整个集群资源（内存，CPU等）的老大。
2. NodeManager（NM）：单个节点服务器资源老大。
3. ApplicationMaster（AM）：单个任务运行的老大。
4. Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源。如内存，cpu，磁盘，网络等。

1.4.3 MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce。

1、Map阶段并行处理输入数据。

2、Reduce阶段对Map结果进行汇总。

1.4.4 HDFS、YARN、MapReduce三者关系

1.5 大数据技术生态体系

图中涉及的技术名次解释如下：

1、Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据（MySQL）间进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

2、Flume：是一个高可用的，高可靠的，分布式海量日志采集，聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据。

3、Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统。

4、Spark：Spark是当前最流行的开源大数据内存计算框架。可以用于Hadoop上存储的大数据进行计算。

5、Flink：Flink是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

6、Oozie：Oozie是一个管理Hadoop作业（job）的动作流程调度管理系统。

7、Hbase：Hbase是一个分布式、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

8、Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

9、ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务。

1.6 推荐系统框架图

二、Hadoop运行环境搭建（开发重点）

2.1 模板虚拟机环境准备

1、安装模板虚拟机：IP地址 192.168.10.100 、主机名称 hadoop100、内存4G、硬盘50G。

Hadoop100 虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1840为例）：

(1)、使用yum安装虚拟机可以正常上网，yum安装前可以先测试一下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 
ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 
ttl=128 time=7.72 ms

(2)、安装epel-release

注意：Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包，

适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库，大多数 rpm 包在官方

repository 中是找不到的）

[root@hadoop100 ~]# yum install -y epel-release

(3)、注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面版本，不需要执行如下操作。

net-tool：工具包集合，包含ifconfig等命令

[root@hadoop100 ~]# yum install -y net-tools

Vim：编辑器

[root@hadoop100 ~]# yum install -y vim

2、关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙。

3、创建yooome用户，并修改 yooome 用户的密码

[root@hadoop100 ~]# useradd yooome
[root@hadoop100 ~]# passwd yooome

4、配置 yooome 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：

## Allow root to run any commands anywhere
root ALL=(ALL) ALL
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
yooome ALL=(ALL) NOPASSWD:ALL

注意：yooome 这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，你先配置了 yooome 具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要密码。所以 yooome 要放到%wheel 这行下面。

5、在/opt目录下创建文件夹，并修改所属主和所属组

(1)、在/opt目录下创建 module、software文件夹

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

(2)、修改module，software 文件夹的所有者和所属组均为 yooome 用户

[root@hadoop100 ~]# chown atguigu:atguigu /opt/module 
[root@hadoop100 ~]# chown atguigu:atguigu /opt/software

(3)、查看module，software文件夹的所有者和所属组

[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
总用量 12
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 28 17:18 module
drwxr-xr-x. 2 root root 4096 9 月 7 2017 rh
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 28 17:18 software

6、卸载虚拟机自带的JDK

注意：如果你的虚拟机是最小化安装不需要执行这一步

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e 
--nodeps

rpm -qa：查询所安装的所有 rpm 软件包。

grep -i ：忽略大小写。

xargs -nl：表示每次只传递一个参数。

rpm -e -nodeps：强制写在软件。

2.2 克隆虚拟机

1、利用模板机 hadoop100，克隆三台虚拟机：hadoop102 hadoop03 hadoop104

注意：克隆时，先要关闭 hadoop100。

2、修改克隆机 IP ，以下以 hadoop102 举例说明：

(1)、修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2

(2)、查看Linux虚拟机的虚拟网络编辑器，编辑 -> 虚拟网络编辑器 -> VMnet8

(3)、查看 Windows 系统适配器 VMware Network Adapter VMnet8 的 IP 地址

(4)、保证Linux系统 ifcfg-ens33 文件中 IP 地址，虚拟网络编辑器地址和 Windows 系统 VM8 网络 IP 地址相同。

3、修改克隆机主机名，以下以hadoop102举例说明

(1)、修改主机名称

[root@hadoop100 ~]# vim /etc/hostname
hadoop102

(2)、配置 Linux 克隆机主机名称映射 hosts 文件，打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

4、重启克隆机 hadoop102

[root@hadoop100 ~]# reboot

5、修改windows的主机映射文件（hosts文件)

(1)、如果操作系统是 Windows7，可以直接修改。

(2)、进入C:\Window\System32\drivers\etc。

(3)、打开 hosts 文件并添加如下内容，然后保存。

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

（2）如果操作系统是 window10，先拷贝出来，修改保存以后，再覆盖即可

（a）进入 C:\Windows\System32\drivers\etc 路径

（b）拷贝 hosts 文件到桌面

（c）打开桌面 hosts 文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

将桌面 hosts 文件覆盖 C:\Windows\System32\drivers\etc 路径 hosts 文件

2.3 在hadoop102 安装JDK

2.3.1 卸载现有 JDK

注意：安装 JDK前，一定要确保提前删除了虚拟机自带的 JDK。 详细步骤见文档 3.1 节中卸载 JDK 步骤。

2.3.2 用XShell 传输工具将 JDK 导入 到opt目录下的software 文件夹下面

2.3.4 在Linux系统下的 opt 目录中查看软件包是否成功导入

[atguigu@hadoop102 ~]$ ls /opt/software/

看到如下结果：

jdk-8u212-linux-x64.tar.gz

2.3.5 解压 JDK 到/opt/module目录下

[atguigu@hadoop102 software]$ tar -zxvf jdk-8u212-linuxx64.tar.gz -C /opt/module/

2.3.6 配置 JDK 环境变量

1. 新建/etc/prfile.d/my_env.sh 文件

[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

2. 保存后退出

:wq

3. source 一下/etc/profile 文件，让新的环境变量 PATH 生效

[atguigu@hadoop102 ~]$ source /etc/profile

2.3.7 测试JDK是否安装成功

[atguigu@hadoop102 ~]$ java -version

如果能看到以下结果，则代表 Java 安装成功。

java version "1.8.0_212"

注意：重启（如果 java -version 可以用就不用重启）

[atguigu@hadoop102 ~]$ sudo reboot

2.4 在hadoop102 安装 Hadoop

Hadoop 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1、XShell 文件传输工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下

面

2、进入到 Hadoop 安装包路径下

[atguigu@hadoop102 ~]$ cd /opt/software/

3、解压安装文件到 /opt/module下面

[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4、查看是否解压成功

[atguigu@hadoop102 software]$ ls /opt/module/hadoop-3.1.3

5、将Hadoop添加到环境变量

(1)、获取Hadoop安装路径

[atguigu@hadoop102 hadoop-3.1.3]$ pwd /opt/module/hadoop-3.1.3

(2)、打开/etc/profile.d/my-env.sh文件

[atguigu@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容：(shift+g)

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出： wq

(3)、让修改后的文件生效

[atguigu@hadoop102 hadoop-3.1.3]$ source /etc/profile

6、测试是否安装成功

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version Hadoop 3.1.3

7、重启（如果Hadoop命令不能用重启虚拟机）

[atguigu@hadoop102 hadoop-3.1.3]$ sudo reboot

2.5 Hadoop 目录结构

1、查看Hadoop 目录结构

[atguigu@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 bin
drwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 etc
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 include
drwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 lib
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5 月 22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu 101 5 月 22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu 1366 5 月 22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu 4096 5 月 22 2017 share

2、重要目录

(1)、bin目录：存放Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本。

(2)、etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件。

(3)、lib目录：存放Hadoop的本地库(对数据进行压缩解压缩功能)。

(4)、sbin目录：存放启动或停止Hadoop相关服务的脚本。

(5)、share目录：存放Hadoop的依赖jar包，文档，和官方案例。

三、Hadoop运行模式

1、Hadoop 官方网站：http://hadoop.apache.org/

2、Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

​ 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。

​ **伪分布式模式：**也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模

拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。

​ **完全分布式模式：**多台服务器组成分布式环境。生产环境使用。

3.1 本地运行模式(官方WordCount)

1、创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

[atguigu@hadoop102 hadoop-3.1.3]$ mkdir wcinput

2、在 wcinput 文件下创建一个 word.txt 文件

[atguigu@hadoop102 hadoop-3.1.3]$ cd wcinput

3、编辑 word.txt 文件

[atguigu@hadoop102 wcinput]$ vim word.txt

在文件中输入如下内容

hadoop yarn
hadoop mapreduce
atguigu
atguigu

保存退出：:wq

4、回到 Hadoop 目录**/opt/module/hadoop-3.1.3**

5、执行程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar 
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar 
wordcount wcinput wcoutput

6、查看结果

[atguigu@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下结果：

atguigu 2
hadoop 2
mapreduce 1
yarn 1

3.2 完全分布式运行模式（开发重点）

分析：

1、准备3台客户机（关闭防火墙，静态IP，主机名称）

2、安装JDK

3、配置环境变量

4、安装Hadoop

5、配置环境变量

6、配置集群

7、单点启动

8、配置ssh

9、群起并测试集群

3.2.1 虚拟机准备

详细见2.1 、2.2 两节

3.2.2 编写集群分发脚本 xsync

1、scp（secure copy）安全拷贝

• scp定义：

  scp 定义可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

• 基本语法

scp 	-r 	 $pdir/$fname  			$user@$host:$pdir/$fname
命令  递归  要拷贝的文件路径/名称  目的地用户@主机:目的地路径/名称

• 案例实操

前提：在hadoop102、hadoop103、hadoop104 都已经创建好的

/opt/module 两个目录，并且已经把这两个目录修改为 atguigu:atguigu

[atguigu@hadoop102 ~]$ sudo chown atguigu:atguigu -R /opt/module

1. 在hadoop上，将hadoop102 中 /opt/module/jdk1.8.0_212 目录拷贝到hadoop103 上。

[atguigu@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212 atguigu@hadoop103:/opt/module

2. 在hadoop103上，将hadoop102中 /opt/modulehadoop-3.1.3 目录拷贝到hadoop103 上。

[atguigu@hadoop103 ~]$ scp -r 
atguigu@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

3. 在hadoop103 上操作，将hadoop102中 /opt/module 目录下所有目录拷贝到 hadoop104 上。

[atguigu@hadoop103 opt]$ scp -r 
atguigu@hadoop102:/opt/module/*
atguigu@hadoop104:/opt/module

2、rsync远程同步工具

rsync主要用于备份和镜像。具有速度快，避免复制相同内容和支持符号连接的优点。

rsync 和 scp 区别：用rsync 做文件的复制要比 scp 的速度快，rsync只对差异文件做更新。scp 是把所有文件都复制过去。

• 基本语法

rsync  			-av				$pdir/$fname				$user@$host:$pdir/$fname
命令 				选项参数 		要拷贝的文件路径/名称 	目的地用户@主机:目的地路径/名称


-a   归档拷贝
-v   显示复制过程

• 实例实例

1. 删除 hadoop103 中 /opt/module/hadoop-3.1.3/wcinput

[atguigu@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/

2. 同步hadoop102 中的 /opt/module/hadoop-3.1.3 到 hadoop103

[atguigu@hadoop102 module]$ rsync -av hadoop-3.1.3/ 
atguigu@hadoop103:/opt/module/hadoop-3.1.3/

3、xsync 集群分发脚本

1. 需求：循环复制文件到所有节点的相同目录下

2. 需求分析：

   (a)：rsync 命令原始拷贝

rsync -av /opt/module atguigu@hadoop103:/opt/

​ (b)：期望脚本：

​ xsync 要同步的文件名称

​ ©：期望脚本在任何路径都能使用（脚本放在生命了全局环境变量的路径）

[atguigu@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/atgu
igu/.local/bin:/home/atguigu/bin:/opt/module/jdk1.8.0_212/bi
n

3. 脚本实现

(a)：在/home/atguigu/bin 目录下创建 xsync 文件

[atguigu@hadoop102 opt]$ cd /home/atguigu
[atguigu@hadoop102 ~]$ mkdir bin
[atguigu@hadoop102 ~]$ cd bin
[atguigu@hadoop102 bin]$ vim xsync

在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
	echo Not Enough Arguement!
	exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
	echo ==================== $host ====================
	#3. 遍历所有目录，挨个发送
	for file in $@
		do
		#4. 判断文件是否存在
			if [ -e $file ]
				then
					#5. 获取父目录
					pdir=$(cd -P $(dirname $file); pwd)
					#6. 获取当前文件的名称
					fname=$(basename $file)
					ssh $host "mkdir -p $pdir"
					rsync -av $pdir/$fname $host:$pdir
				else
					echo $file does not exists!
			fi
	done
done

(b)：修改脚本 xsync 具有执行权限

[atguigu@hadoop102 bin]$ chmod +x xsync

©：测试脚本

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin

(d)：将脚本复制到/bin 中，以便全局调用

[atguigu@hadoop102 bin]$ sudo cp xsync /bin/

(e)：同步环境变量（root所有者）

[atguigu@hadoop102 ~]$ sudo ./bin/xsync 
/etc/profile.d/my_env.sh

注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。

让环境变量生效

[atguigu@hadoop103 bin]$ source /etc/profile
[atguigu@hadoop104 opt]$ source /etc/profile

3.2.3 SSH 无密登录配置

1、配置ssh

• 基本语法

​ ssh 另外一台电脑的 IP 地址。

• ssh 连接时出现 Host key verification failed 的解决方法

[atguigu@hadoop102 ~]$ ssh hadoop103

如果出现如下内容

Are you sure you want to continue connecting (yes/no)?

输入 yes，并回车

• 退回到 hadoop102

[atguigu@hadoop103 ~]$ exit

2、无秘钥配置

• 免密登录原理

• 生成公钥和私钥

[atguigu@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh
[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后在敲（三个回车），就会生成两个文件 id_rsa （私钥）、id_rsa.pub（公钥）

• 将公钥拷贝到要免密登录的目标机器上

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：

还需要在hadoop103 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。

还需要 hadoop104 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104服务器上。

还需要在hadoop102 上采用 root 账号，配置一下无密登录hadoop102，hadoop103，hadoop104

3、.ssh 文件夹下（~/.ssh）的文件功能解释

known_hosts 		记录 ssh 访问过计算机的公钥（public key）

id_rsa 					生成的私钥

id_rsa.pub 			生成的公钥

authorized_keys 存放授权过的无密登录服务器公钥

3.2.4 集群配置

1、集群部署规划

注意：

​ NameNode 和 SecondaryNameNode 不要安装在同一台服务器。

​ ResourceManager也很消耗内存，不要和NameNode，SecondaryNameNode配置在同一台机器上。

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

2、配置文件说明

​ Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，在需要修改自定义配置文案件，更改响应属性值。

默认配置文件：

要获取的默认文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在

$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

3、配置集群

1. 核心配置文件

配置core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>atguigu</value>
</property>
</configuration>

2. HDFS配置文件

配置 hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
</configuration>

3. YARN 配置文件

配置 yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
</property>
</configuration>

4. Mapreduce配置文件

配置 mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5. 在集群上分发配置好的 Hadoop 配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-
3.1.3/etc/hadoop/

6. 去103和104上查看文件分发情况

[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

3.2.5 群起集群

1. 配置workers

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

2. 启动集群

• 如果是集群第一次启动，需要在hadoop102 节点格式化 NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode 和 DataNode 的集群 id 不一致，集群找不到以往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止 NameNode 和 DataNode 进程，并且要删除所有机器的 data 和 logs 目录，然后在进行格式化。）

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

• 启动HDFS

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

• 在配置了 ResourceManager 的节点（hadoop103）启动 YARN

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

• Web端查看 HDFS 的NameNode

（a）浏览器中输入：http://hadoop102:9870

（b）查看 HDFS 上存储的数据信息

• Web 端查看 YARN 的 ResourceManager

（a）浏览器中输入：http://hadoop103:8088

（b）查看 YARN 上运行的 Job 信息

3、集群基本测试

1. 上传文件到集群

• 上传小文件

[atguigu@hadoop102 ~]$ hadoop fs -mkdir /input
[atguigu@hadoop102 ~]$ hadoop fs -put 
$HADOOP_HOME/wcinput/word.txt /input

• 上传大文件

[atguigu@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212-
linux-x64.tar.gz /

2. 上传文件后查看文件存放在什么位置

• 查看HDFS文件存储路径

[atguigu@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-
192.168.10.102-1610603650062/current/finalized/subdir0/subdir0

• 查看HDFS在磁盘存储文件内容

[atguigu@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
atguigu
atguigu

• 拼接

-rw-rw-r–. 1 atguigu atguigu 134217728 5 月 23 16:01 blk_1073741836

-rw-rw-r–. 1 atguigu atguigu 1048583 5 月 23 16:01 blk_1073741836_1012.meta

-rw-rw-r–. 1 atguigu atguigu 63439959 5 月 23 16:01 blk_1073741837

-rw-rw-r–. 1 atguigu atguigu 495635 5 月 23 16:01 blk_1073741837_1013.meta

[atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

• 下载

[atguigu@hadoop104 software]$ hadoop fs -get /jdk-8u212-linuxx64.tar.gz ./

• 执行wordcount程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar 
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar 
wordcount /input /output

3.2.6 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1. 配置 mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop102:19888</value>
</property>

2. 分发配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3. 在 hadoop102 启动历史服务器

[atguigu@hadoop102 hadoop]$ mapred --daemon start historyserver

4. 查看历史服务器是否启动

[atguigu@hadoop102 hadoop]$ jps

5. 查看JobHistory

http://hadoop102:19888/jobhistory

3.2.7 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动 NodeManager、ResourceManager 和 HistoryServer。

开启日志聚集功能具体步骤如下：

1. 配置 yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
<name>yarn.log.server.url</name> 
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

2. 分发配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarnsite.xml

3. 关闭NodeManager、ResourceManager 和 HistoryServer

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop
historyserver

4. 启动NodeManager、ResourceManager 和 HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$ mapred --daemon start historyserver

5. 删除 HDFS 上已经存在的输出文件

[atguigu@hadoop102 ~]$ hadoop fs -rm -r /output

6. 执行WordCount程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar 
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7. 查看日志

（1）历史服务器地址

http://hadoop102:19888/jobhistory

（2）历史任务列表

（3）查看任务运行日志

（4）运行日志详情

3.2.8 集群启动/停止方式总结

1. 各个模块分开启动/停止（配置ssh是前提）常用

（1）整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh

2. 各个服务组件逐一启动/停止

（1）分别启动/停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

3.2.9 编写 Hadoop 集群常用脚本

1. Hadoop 集群启停脚本(包含 HDFS，Yarn，HistoryServer)：myhadoop.sh

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim myhadoop.sh

输入如下内容

#!/bin/bash
if [ $# -lt 1 ]
then
	echo "No Args Input..."
	exit ;
fi
case $1 in
"start")
	echo " =================== 启动 hadoop 集群 ==================="
	echo " --------------- 启动 hdfs ---------------"
	ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
	echo " --------------- 启动 yarn ---------------"
	ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
	echo " --------------- 启动 historyserver ---------------"
	ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
	echo " =================== 关闭 hadoop 集群 ==================="
	echo " --------------- 关闭 historyserver ---------------"
	ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop 
historyserver"
	echo " --------------- 关闭 yarn ---------------"
	ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
	echo " --------------- 关闭 hdfs ---------------"
	ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac

保存后退出，然后赋予脚本执行权限

[atguigu@hadoop102 bin]$ chmod +x myhadoop.sh

2. 查看三台服务器Java进程脚本：jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim jpsall

输入如下内容

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
	do
		echo =============== $host ===============
		ssh $host jps 
done

保存后退出，然后赋予脚本执行权限

[atguigu@hadoop102 bin]$ chmod +x jpsall

3. 分发/home/atguigu/bin 目录，保证自定义脚本在三台机器上都可以使用

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/

3.2.10 常用端口号说明

端口号名称	Hadoop2.x	hadoop3.x
NameNode内部通信端口	8020/9200	8020/9000/9820
NameNode HTTP UI	50070	9870
MapReduce查看执行任务端口	8088	8088
历史服务器通信端口	19888	19888

3.2.11 集群时间同步

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；

如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

1. 需求

找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确成都要求周期同步。测试环境为了尽快看到效果，采用1分钟同步一次。

2. 时间服务器配置（必须root用户）

• 查看所有节点 ntpd 服务状态和开启自启动状态

[atguigu@hadoop102 ~]$ sudo systemctl status ntpd
[atguigu@hadoop102 ~]$ sudo systemctl start ntpd
[atguigu@hadoop102 ~]$ sudo systemctl is-enabled ntpd

• 修改hadoop102 的ntp.conf

[atguigu@hadoop102 ~]$ sudo vim /etc/ntp.conf

修改内容如下：

（a）修改 1（授权 192.168.10.0-192.168.10.255 网段上的所有机器可以从这台机器上查

询和同步时间）

#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

为 restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

（b）修改 2（集群在局域网中，不使用其他互联网上的时间）

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

为

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

（c）添加 3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中

的其他节点提供时间同步）

server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）修改 hadoop102 的/etc/sysconfig/ntpd 文件

[atguigu@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）

SYNC_HWCLOCK=yes

（4）重新启动 ntpd 服务

[atguigu@hadoop102 ~]$ sudo systemctl start ntpd

（5）设置 ntpd 服务开机启动

[atguigu@hadoop102 ~]$ sudo systemctl enable ntpd

3. 其他机器配置（必须root用户）

（1）关闭所有节点上 ntp 服务和自启动

[atguigu@hadoop103 ~]$ sudo systemctl stop ntpd
[atguigu@hadoop103 ~]$ sudo systemctl disable ntpd
[atguigu@hadoop104 ~]$ sudo systemctl stop ntpd
[atguigu@hadoop104 ~]$ sudo systemctl disable ntpd

（2）在其他机器配置 1 分钟与时间服务器同步一次

[atguigu@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102

（3）修改任意机器时间

[atguigu@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"

（4）1 分钟后查看机器是否与时间服务器同步

[atguigu@hadoop103 ~]$ sudo date

四、常见错误及解决方案

1）防火墙没关闭、或者没有启动 YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主机名称配置错误

3）IP 地址配置错误

4）ssh 没有配置好

5）root 用户和 atguigu 两个用户启动集群不统一

6）配置文件修改不细心

7）不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102
at 
java.net.InetAddress.getLocalHost(InetAddress.java:1475)
at 
org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(Job
Submitter.java:146)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native 
Method)
at javax.security.auth.Subject.doAs(Subject.java:415)

解决办法：

（1）在/etc/hosts 文件中添加 192.168.10.102 hadoop102

（2）主机名称不要起 hadoop hadoop000 等特殊名称

8）DataNode 和 NameNode 进程同时只能工作一个。

9）执行命令不生效，粘贴 Word 中命令时，遇到-和长–没区分开。导致命令失效

​ 解决办法：尽量不要粘贴 Word 中代码。

10）jps 发现进程已经没有，但是重新启动集群，提示进程已经开启。

​ 原因是在 Linux 的根目录下/tmp 目录中存在启动的进程临时文件，将集群相关进程删

除掉，再重新启动集群。

11）jps 不生效

​ 原因：全局变量 hadoop java 没有生效。解决办法：需要 source /etc/profile 文件。

12）8088 端口连接不上

[atguigu@hadoop102 桌面]$ cat /etc/hosts

注释掉如下代码

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1 hadoop102