配置hadoop集群-理论准备

Hadoop的组成

对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来保存文件，可以使用提供强大的计算能力。但是，我们要把它搭建起起来，就必须要了解它的基本组成，知道它的内部分工。

在Hadoop3.X中，hadoop一共有三个组成部分：MapReduce，Yarn，HDFS。它们的作用如下：

1. MapReduce: 用来提供计算。
2. HDFS:用来提供文件存储功能。
3. Yarn: 用来协调调度。

HDFS

Hadoop Distributed File System, 简称HDFS,是一个分布式文件系统。在hadoop体系中，它用存储文件。

例如，当我们把一个文件（例如500M），保存到hadoop中时，它的背后要实现两个效果：

1. 如果文件较大(>128M)把大文件拆小，并分别传输。
2. 存储3份在不同的主机上。

YARN

Yet Another Resource Negotiator，简称YARN，另一种资源协调者，是Hadoop的资源管理器。

（1）ResourceManager(RM):整个集群资源（内存，CPU等）的管理者

（2）NodeManager(NM): 单个节点服务器资源的管理者

Yarn和HDFS的关系说明：逻辑上分离，物理上在一起。

MapReduce

MapReduce用来提供计算的能力。它将计算过程分为两个阶段：Map和Reduce。

（1）Map阶段并行处理输入数据

（2）Reduce阶段对Map结果进行汇总

集群配置规划

集群部署规划建议：

1.NameNode和SecondaryNameNode不要安装在同一台服务器

2.ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

根据我们的实际情况，我们配置如下

	hadoop100	hadoop101	hadoop102
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager