大数据平台基础架构和常用处理工具

一、大数据在线分析处理和常用工具

•大数据在线分析处理的特点

•Flume 介绍

•Spark 和 Storm 介绍

•HBase介绍

二、大数据离线处理和常用工具

•大数据离线处理特点

•Hdfs介绍

•MapReduce介绍

•Hive 介绍

三、大数据离线处理和常用工具

1、•OLAP 和 OLTP 特点

OLAP (联机分析处理)  和 OLTP (联机事务处理) 在查询方面的特点：

•OLTP  单次查询返回数据量小，但是经常会涉及服务器端简单的聚合操作，要求查询响应速度快，一般应用于在线处理；

•OLAP 单次查询返回数据量巨大，服务器端进行的处理复杂，经常包含上卷(从细粒度数据向高层的聚合)、下钻(将汇总数据拆分到更细节的数据)类似的操作；

2、•Elasticsearch  介绍

3、•Impala 介绍

4、•Kylin介绍