数仓命名规范大全
数据仓库的建设实施和落地需要团队中不同成员的参与和配合,需要各种各样 的规范 , 规范的分层定义和表命名能让使用者轻而易举地明白该表的作用和含义 。 因此本文档重点介绍分层规范和可落地的表命名规范。
01XX 数据分层
一、数据运营层:ODS (Operational Data Store)
ODS 层 , 是最接近数据源中数据的一层 , 为了考虑后续可能需要追溯数据 问题 ,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即
可, 至于数据的去噪 、 去重 、 异常值处理等过程可以放在后面的 DWD 层来做。
二、数据仓库层:DW (Data Warehouse)
数据仓库层是我们在做数据仓库时要核心设计的一层,在这里,从 ODS 层中 获得的数据按照主题建立各种数据模型 。 DW 层又细分为 DWD ( Data Warehouse Detail )层、DWM( Data WareHouse Middle )层和 DWS( Data WareHouse Servce )
-
数据明细层:DWD (Data Warehouse Detail)
该 层 一 般 保 持 和 ODS 层 一 样的 数 据 粒 度 , 并 且 提供 一 定 的 数据 质 量 保 证 。DWD 层要做的就是将数据清理 、 整合 、 规范化 、 脏数据 、 垃圾数据 、 规范不一致 的 、 状态定义不一致的 、 命名不规范的数据都会被处理 。
同时 ,为了提高数据明细层的易用性 ,该层会采用一些维度退化手法 ,将维度退化至事实表中, 减少事实表和维表的关联。另外,在该层也会做一部分的数据聚合,将相同主题的数据汇集到一 张表中 ,提高数据的可用性 。
-
数据中间层:DWM (Data WareHouse Midd

本文详细介绍了数据仓库的分层结构,包括ODS、DW(DWD、DWM、DWS)、APP和维表层的数据处理和命名规范。在ODS层保留原始数据,DWD层进行数据清理和整合,DWM层做轻度聚合,DWS层提供宽表服务,APP层面向数据应用,维表层包含高基数和低基数维度数据。此外,文章还讨论了表命名规范、指标命名和处理方式,强调一致性、可读性和口径统一的重要性。
最低0.47元/天 解锁文章
3211

被折叠的 条评论
为什么被折叠?



