Hadoop学习--简介（1）

1.Hadoop简介

1.1 Hadoop优势

• 高可靠性：Hadoop底层维护多个数据副本，即使Hadoop某个计算元素或存储出现故障，也不会导致数据丢失
• 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点
• 高效性：在MapReduce思想下，Hadoop是并行工作的
• 高容错性：能够自动将失败的任务重新分配

1.2 Hadoop组成（面试重点）

Hadoop1.x和Hadoop2.x区别

1.2.1 HDFS架构概述

1.2.2 YARN架构

1.2.3MapReduce架构

MapReduce将计算过程分为两个阶段，Map和Reduce；

• Map阶段并行处理输入数据
• Reduce阶段对Map结果进行汇总

如下图所示

1.3 大数据技术生态系统

1.4 推荐系统项目框架