大数据项目技术栈和专业术语总结

Hadoop

Hadoop是一个分布式系统基础架构，核心是 HDFS、YARN、MapReduce 3大组件组成。

• HDFS（Hadoop Distributed File System，即Hadoop分布式文件系统）主要功能是提供海量数据存储
• YARN(资源管理系统) 主要功能是资源管理和程序调度
• MapReduce 主要功能：数据划分和计算任务调度、数据/代码互定位

Hive

Hive是基于Hadoop的数仓分析系统，可以将SQL语句转换为MapReduce任务运行，不适合用于联机事务处理，也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业

Spark

Spark 基于Hadoop MapReduce开发的大数据计算引擎，构建大型、低延迟数据分析应用程序

Hbase

Hbase 分布式数据库 Hadoop的子项目 特点 适合于非结构化数据存储 基于列的而不是基于行的模式

Kafka

Kafka 分布式发布订阅消息系统 主要能力：消息队列、流式处理

分类

大数据术语

DW 数据仓库

数据仓库包含：

• ODS层 （Operational Data Store） 原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。
• DWM层（data warehourse middle）数据中间层，在DWD层的数据基础上，对数据做轻度的聚合操作，生成一系列的中间表
• DWD层 （Data Warehouse Detail）明细数据层， 结构和粒度与原始表保持一致，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）。
• DWS层（Data Warehouse service） 服务数据层，以DWD为基础，进行轻度汇总。 在这层通常会有以某一个维度为线索，组成跨主题的宽表。
• ADS层 (application data service)数据应用层，为各种统计报表提供数据。

批处理，可以理解为⼀系列相关的任务按顺序或并⾏的，⼀个接⼀个地执⾏。
流处理，可以理解为系统需要接收并处理⼀系列连续不断变化的数据

数据仓库和数据库区别