Hadoop之入门

一、Hadoop基本概述

1、含义

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算的问题。它包括三大发行版本：Apache、Cloudera(CDH)和Hortonworks(HDP)

2、优点

（1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失；

 （2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点；

 （3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度；

 （4）高容错性：能自动将失败的任务重新分配。

 

3、组成（面试重点）

 Hadoop1.x、Hadoop2.x、Hadoop3.x的区别：

• 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。
• 在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。
• 在Hadoop3.x中在组成上没有变化。

二、HDFS架构概述

1、含义

Hadoop Distributed File System ，简称 HDFS ，是一个分布式文件系统。

2、组成

（1）NameNode(nn):存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等；

（2）DataNode(dn):在本地文件系统存储文件块数据，以及块数据的校验和；

（3）Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份。

 

三、MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce

• Map阶段并行处理输入数据
• Reduce阶段对Map结果进行汇总 

 

四、YARN架构概述

1、含义

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。

2、组成

（1）ResourceManager(RM):整个集群资源（内存、CPU等）的总司令

（2）NodeManager(NM):单个节点服务器资源司令

（3）ApplicationMaster(AM):单个任务运行的司令

（4）Container:容器，相当于一台独立的服务器，里面封装了任务运行所需要的的资源，如内存、CPU、磁盘、网络等。

 

五、HDFS、YARN、MapReduce三者关系