数仓分层-该如何划分-数仓分多少层

本文探讨了数据仓库的分层设计,通常分为ODS、DW(CDM)、APP(ADS)三层,但实际操作中可能根据业务需求细分为ODS、DWD、DWB、DWS、DM和RPT六层。ODS层负责原始数据迁移,DWD层进行数据清洗,DWB层构建宽表,DWS层做轻度汇总,DM层进行粗粒度汇总,而RPT层则用于报表展示。强调了没有最佳分层,只有最适合业务的分层方案。

既然知道数仓要进行分层操作,那么如何划分层,划分为多少层就成了问题的关键。

目前市面上的分层大都划分为三大层,即ODS层,DW(CDM)层,和APP(ADS)层,然后根据具体公司的业务将层进行更为细化的操作。总体来说没有最好的分层,只有更适合公司业务发展的分层。

如下图所示,三大层各个功能:

  1. ODS层:主要是数据引入层也叫原始数据层,其主要功能就是将各个数据库中的数据采集到数据仓库中,基本保持和原始数据的一致性。
  2. DW(CDM)层:主要区别维度表和事实表,基于维度建模,构建宽表减少数据扫描以及表的重新命名等。
  3. APP(ADS)层:主要用于复杂性指标的计算。

以下就一一个具体的分层为例进行说明。

 如图所示,此项目进行数仓分层主要划分为四大层(ODS,DW,DM,RPT),六小层。

  1. 具体为ODS层:作为原始数据层,只需要把原始数据进行一个迁移操作,不对数据进行相关的修改。
  2. DWD层:数据明细层,根据数据的格式,数据的异常值等做一个清洗转化的操作,保证数据的质量,对后面的操作提供一个基础。
  3. DWB层:基础数据层,将事实表相关联的维度表的核心字段进行一个抽取动作,构建成一个大宽表,减少数据计算的关联,提高数据查询的效率。
  4. DWS层:数据服务层,在DWB层的基础上做一些轻度的汇总,有些项目可将这两层进行一个合并,不需要划分为两层。
  5. DM层:数据集市层,进行更粗粒度的汇总。
  6. RPT层:报表应用层,将数据进行裁剪进行相关的计算,作为指标的展示。

 综上,就是一个完整的项目的分层,还是那句话,没有最好的分层操作,只有更适合自家业务的分层。

数仓分层中,其中一个重要的级是stage。在数仓中,stage是指据的初始加载和清洗阶段,也被称为原始。\[1\]在传统金融/保险行业中,stage通常包括ods(操作据存储)、pdm(物理据模型)和dm据集市)。\[1\]而在互联网金融/电商行业中,stage通常包括odl(在线据存储)、bdl(业务据湖)、idl(实时据湖)和adl据湖)。\[1\] 另外,数仓的应用(ADS)也是一个重要的级。应用是各个业务方或部门基于DWD和DWS建立的据集市,主要包含部门或业务方关心的明细和汇总据。\[2\]应用据来源于DW,用于支持各个业务方的析和决策。 总结来说,数仓分层中,stage据的初始加载和清洗阶段,应用是各个业务方或部门基于DWD和DWS建立的据集市。这些级在不同行业和场景中可能有所差异,但整体的套路和目的是相似的。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [数仓分层模型架构享(2)](https://blog.youkuaiyun.com/BeiisBei/article/details/106285485)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [万字详解数仓分层设计架构 ODS-DWD-DWS-ADS](https://blog.youkuaiyun.com/uxiAD7442KMy1X86DtM3/article/details/127711444)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值