Hadoop介绍

一、hadoop2.X组成
1.HDFS（数据存储）：分布式文件存储系统
2.Yarn（资源调度）：作业调度与集群资源管理框架
3.MapReduce（计算）：并行计算框架
4.其他环境
二、HDFS组成
1.一个NameNode（管理者）
2.多个DataNode（工作者）
3.Secondary NameNode（定时对NameNode进行数据备份，尽量降低NameNode崩溃之后，导致数据的丢失）
三、Yarn组成
1.ResourceManager：处理客户端请求、启动/监控ApplicationMaster、监控NodeMange、资源分配与调度
2.NodeManager：单个节点上的资源管理、处理来自ResourceManage/ApplicationMaster的命令。
3.ApplicationMaster：数据切分等。
4.Container
四、MapReduce简述
MapReduce将计算过程分为两个阶段：Map与Reduce
1.Map阶段并行处理输入数据
2,.Reduce阶段对Map结果进行汇总
五、hadoop生态系统
1）Sqoop
2）Flume
3）Kafka
4）Storm
5）Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
6）Oozie
7）Hbase
8）Hive
9）Mahout
10）ZooKeeper
11）其他