本文详细介绍了数据仓库的架构，包括ETL过程、操作数据层(ODS)、数据明细层(DWD)、数据汇总层(DWS)和数据应用层(ADS)。每个层级的功能和作用清晰阐述，如ODS层是对业务数据库的扩展，DWD层进行数据清洗和标准化，DWS层按主题汇总，ADS层则用于快速查询和对接外部系统。
数据仓库：架构图
在分层和命名大同小异
1 ETL
2 数据积存 -ods
操作数据层（ODS），业务数据库基础上，扩充字段。离线数仓中，业务数据定期ETL流程导入到ods中，导入方式有全量，增量两种
3 数据分析 - dwd
数据明细层对ods层进行数据清洗， 标准化，维度退化（时间，分类，地域） （三张维度表合并到商品表里，变成宽表）
数据扔满足3NF模型（三范式），为分析运算做准备
4 数据汇总层（DWS）
按照分析主题进行汇总，存储类型非3NF，注重数据聚合，复杂查询，处理性能更优的数仓模型，如维度模型。
5 数据应用层 ADS
用来存储查询结果，数据应用层也称为数据集市，对接外部系统，方便前端业务快读查询
扫一扫
9186
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
