大数据概述

1、什么是大数据：海量，高增长率，多样化，分布式存储+分布式计算+弹性伸缩

2、大数据特征：Volume，Variety，Value，Velocity

3、大数据的数据结构：结构化和非结构化

4、大数据的意义：商业的变革：让经营及决策更有据可依（个性化销售和服务，预测性销售，决策更科学）

                               管理的变革：让社会管理更智慧（城市管理精细化智能化：智能交通；公共服务个性化智能化：一站式办事；事件应对更高效更智能：新冠疫情）

                              思维的变革：总体性思维（有样本变为全量）；容错性思维（有准确变为混杂）；智慧化思维（有自然思维转向智慧）；关联性思维（有因果变为关联）

5、大数据的存储：单硬盘存储，磁盘阵列，分布式存储，混合式存储

6、Hadoop的特点：高可靠性，高可扩展性，高效性，高容错性，低成本

7、Hadoop生态体系：

8、HDFS：4kb

9：MapReduce：>1TB的并行计算

10：yarn：分布式操作系统平台

11：Hive：提取，转化，加载

12：HBASE：分布式列式数据库：主键，列族，单元格，时间戳，区域

13：sprk：通用并行框架，迭代分析，弹性分布式系统

14：ZooKeeper：分布式服务框架，节点是奇数个

15：Sqoop：sql--Hadoop

16:flume:海量日志采集、集合和传输

17：Oozie：工作流调度引擎，有向无环图

18：Ambari：监控、供应、管理

19：MaxCompute：大数据计算服务

20：DataWorks：大数据OS能力

21：AnalyticDB：云原生数据仓库MsSQL版

22：DataV：数据可视化

23：QuickBI：数据表格

24：PAI：阿里云机器学习平台