数仓命名规范大全

本文详细介绍了数据仓库的分层结构,包括ODS、DW(DWD、DWM、DWS)、APP和维表层的数据处理和命名规范。在ODS层保留原始数据,DWD层进行数据清理和整合,DWM层做轻度聚合,DWS层提供宽表服务,APP层面向数据应用,维表层包含高基数和低基数维度数据。此外,文章还讨论了表命名规范、指标命名和处理方式,强调一致性、可读性和口径统一的重要性。

数仓命名规范大全

数据仓库的建设实施和落地需要团队中不同成员的参与和配合,需要各种各样 的规范 , 规范的分层定义和表命名能让使用者轻而易举地明白该表的作用和含义 。 因此本文档重点介绍分层规范和可落地的表命名规范。

01XX 数据分层

一、数据运营层:ODS (Operational Data Store)

ODS 层 , 是最接近数据源中数据的一层 , 为了考虑后续可能需要追溯数据 问题 ,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即

可, 至于数据的去噪 、 去重 、 异常值处理等过程可以放在后面的 DWD 层来做。

二、数据仓库层:DW (Data Warehouse)

数据仓库层是我们在做数据仓库时要核心设计的一层,在这里,从 ODS 层中 获得的数据按照主题建立各种数据模型 。 DW 层又细分为 DWD ( Data Warehouse Detail )层、DWM( Data WareHouse Middle )层和 DWS( Data WareHouse Servce )

  1. 数据明细层:DWD (Data Warehouse Detail)

    该 层 一 般 保 持 和 ODS 层 一 样的 数 据 粒 度 , 并 且 提供 一 定 的 数据 质 量 保 证 。DWD 层要做的就是将数据清理 、 整合 、 规范化 、 脏数据 、 垃圾数据 、 规范不一致 的 、 状态定义不一致的 、 命名不规范的数据都会被处理 。

    同时 ,为了提高数据明细层的易用性 ,该层会采用一些维度退化手法 ,将维度退化至事实表中, 减少事实表和维表的关联。另外,在该层也会做一部分的数据聚合,将相同主题的数据汇集到一 张表中 ,提高数据的可用性 。

  2. 数据中间层:DWM (Data WareHouse Midd

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值