总结：大数据几个重要框架的结构框图

一、Hadoop

 

二、HA集群模式

主机名 IP 安装的软件 运行的进程

host   192.168.33.129   jdk、hadoop  NameNode、DFSZKFailoverController(zkfc)

mini1 192.168.33.130   jdk、hadoop  NameNode、DFSZKFailoverController(zkfc)

mini2 192.168.33.131   jdk、hadoop  ResourceManager

mini3 192.168.33.132   jdk、hadoop  ResourceManager

mini4 192.168.33.133   jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

mini5 192.168.33.134   jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

mini6 192.168.33.135   jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

 

三、Hive 模式

备注：所以hive的运行离不开Hadoop。

四、Flume框架图解

 备注：在linux上启动agent，来获取数据。根据配置文件确定数据的来源与目的

五、Azkaban不介绍，sqoop的运行机制如下

 

六、Hbase图解 一个HMaster多个HRegionServer

HBase采用Master/Slave架构搭建集群。

由以下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群。

而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等。

七、Storm图解

 

Storm类似与Hadoop：

NameNode  ---> DataNode1、DataNode2、DataNode3……

nimbus  --->supervisor1、supervisor2、supervisor3……

八、Kafka

每个集群叫做broker，分配brokerID

 

九、Spark

一个Master管理多个worker构成集群