数仓分层

最新推荐文章于 2024-10-15 15:15:51 发布

new辉

最新推荐文章于 2024-10-15 15:15:51 发布

阅读量2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：数据分层文章标签：大数据

本文链接：https://blog.youkuaiyun.com/weixin_42913329/article/details/109237711

本文详细介绍了数仓分层的各个层级及其作用，包括ODS、DWD、DIM、DWS、DM和APP/ADS层。数仓分层旨在清晰数据结构、减少重复计算、统一数据口径和简化复杂问题。ODS层存储原始数据，DWD层构建最细粒度的明细层，DIM层建立一致性维度，DWS层进行轻度聚合，DM层按主题汇总，APP/ADS层则针对业务需求提供分析指标。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数仓分层

一.分层的作用
二、ODS (opreational data store)
三、DWD(data warehouse detail)**
1.概览
2.步骤
4.具体需要做的事情
5.举例
四、DIM
1.概念
2.举例
五、DWS(data warehouse service)
1.概念
2.举例
六、DM(data market)
1.概念
2.举例
七、APP/ADS
1.概念
2.举例

一.分层的作用

数仓分层的目的是：逐层解耦，减少重复计算，降低烟囱式开发(不能与其他系统进行有效协调工作)。 越到底层，越接近业务发生的记录，越到上层，越接近业务目标。具体如下：
①清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解，实现业务数据解耦。
②减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算
③统一数据口径：通过数据分层，提供统一的数据出口，统一对外输出的数据口径
④复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题
二、ODS (opreational data store)
存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。
作用
①保持数据原貌不做任何修改，起到备份数据的作用
②数据采用压缩，减少磁盘存储空间（如：原始数据100G，可以压缩到10G左右）
③创建分区表，防止后续的全表扫描
三、DWD(data warehouse detail)
1.概览
DWD层是以业务过程为驱动，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。可以结合企业的数据使用特点，将明细事实表的某些重要维度属