离线数仓分层(基础)

本文介绍了数据仓库分层的基本概念,包括贴源层、明细层、维度层、轻度聚合层、主题层、数据中间层及结果展示层,并阐述了各层的功能与作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

搞数仓开发的,肯定要对数仓的结构了如指掌,好久没有复习,今天正好回顾一下

 

数仓分层作为最基础的数仓结构知识,通常分为离线数仓和实时数仓,一般分为贴源层(ODS)、明细层(DWD)、维度层(DIM)、轻度聚合层(DWS)、主题层(DWT)、数据中间层(DWM)和结果展示层(ADS)。下面简单介绍数仓各层的分层依据和每一层的功能。

1、贴源层(ODS): ODS层主要存储原始数据(一般都是来源于各个app的日志或者线下门店的表格,txt文本等)

2、明细层(DWD):基于原始数据层,将数据进行简单的清洗、脱敏后处理后建立明细表(明细表中一般也会有etl时间的字段,业务不同,字段也不相同)

3、维度表(DIM):基于原始数据层提取公共指标进行维度建模(实际上和明细层没有依赖关系,主要是根据业务需求来定,常见的有时间,地区编码对应表,所属机构编码对应表,业务类型编码对应表等等,后面想起来再补充)

4、轻度聚合层(DWS):是基于明细层数据,对明细层的数据进行轻度聚合得出(所谓轻度聚合,个人理解是提取业务核心字段,根据业务需求对数据进行进一步的加工)

5、主题层(DWT):根据主题提炼出相关指标,从DWS中提取和维度表关联得出(这个时候业务就要开始详细划分了,一般都是许多小需求围绕一个核心需求作为主题---个人理解)

6、数据中间层(DWM):对于一些跨部门协同,会产生一些公共字段,用DWM进行临时存储从而避免重复计算(类似于咱们这边的模型层)

7、结果展示层(ADS):基于需求,从主题中提取相关字段得出,用于结果展示(咱们这边是把报送的数据导入到Oracle中进行展示,只报送增量数据)

 

离线数仓分层设计通常包括(ODS)、明细(DWD)、维度(DIM)、轻度聚合(DWS)、主题(DWT)、数据中间(DWM)和结果展示(ADS)\[1\]。 (ODS)是数仓中最底次,用于接收和存储原始数据。在这一,数据被抽取、清洗和转换为可用于后续处理的格式。 明细(DWD)是在之上的一,用于存储经过处理和加工的原始数据。在这一,数据被进行清洗、整合和转换,以满足业务需求。 维度(DIM)是用于存储维度数据的次。维度表是基于原始数据提取公共指标进行维度建模的结果\[2\]。在这一,维度数据被提取出来,并与事实数据进行关联。 轻度聚合(DWS)是在明细之上的一,用于存储经过聚合的数据。在这一,数据被进行聚合操作,以提高查询性能和减少数据量。 主题(DWT)是在轻度聚合之上的一,用于存储按照业务主题组织的数据。在这一,数据被按照业务主题进行组织和汇总,以支持特定的分析和报表需求。 数据中间(DWM)是用于存储数据处理过程中的中间结果的次。在这一,数据被用于支持数据处理的各个阶段,例如数据清洗、转换和集成。 结果展示(ADS)是数仓中最顶次,用于存储最终的分析结果和报表数据。在这一,数据被用于生成各种分析报表和可视化展示。 离线数仓分层设计可以根据具体业务需求和数据处理流程进行灵活调整,但通常遵循以上的基本分层结构\[1\]。 #### 引用[.reference_title] - *1* *2* [离线数仓分层基础)](https://blog.youkuaiyun.com/wind96/article/details/127641942)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [离线数仓 () --------- 数仓分层](https://blog.youkuaiyun.com/m0_51111980/article/details/127491547)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值