大数据协作框架

一、基本框架

Hadoop 2.x

HDFS
YARN
MapReduce(分而治之)
分：map
合: reduce
Zookeeper
Hive (大数据仓库)

==============================
对日志类型的海量数据
* hdfs
* mr ,  hive - hql


二、大数据协作框架

第一个问题(Sqoop(数据转换) ,Flume(文件收集))
hdfs
文件来源哪里？海量数据存储到hdfs ？  


现实数据来源两个方面
* RDBMS（Oracle，MySQL，DB2...） ->  sqoop（SQL to  HADOOP）
* 文件（apache，nginx日志数据） -> Flume(实时抽取数据)


第二个问题(Oozie(任务调度))
对数据的分析任务Job，至少都是上千（互联网公司）
调度任务  ？
什么执行，多长执行一次，执行频率
某一些业务的分析，需要许多job任务共同完成，相互依赖关系 ，工作流 ？



第三个问题(Hue(大数据web工具))
hadoop 2.x生态系统中重要的框架，8个，
监控
统一WEB UI界面，管理框架，监控框架