这里写目录标题
一、数仓分层
ODS(原始数据层) 不做处理,存放原始数据
DWD(明细数据层) 进行简单数据清洗,降维
DWS(服务数据层) 按天进行轻度汇总(做宽表)
DWT(数据主题层) 按主题进行汇总
ADS(数据应用层) 为报表提供数据
二、数仓建模
2.1 ODS 层 (负责备份数据工作)
(1)保持数据原貌不做任何修改,起到备份数据的作用。
(2)数据采用LZO压缩,并创建索引减少磁盘存储空间(切片)
(3)创建分区表,防止后续的全表扫描
(4)创建外部表(多人共用),内部表(仅自己使用)
2.2 DWD 层 (负责准备数据工作)
DWD 层需构建维度模型,一般采用星型模型,呈现的状态一般为星座模型。
(1)数仓维度建模(星型模型),使维度退化。好处:减少后续大量join操作
(2)数据清洗(E