对数据仓库ODS DW DM的理解

本文详细介绍了数据中心的整体架构,包括ODS(操作性数据)、DW(数据仓库)和DM(数据集市)的基本概念及其协作关系。通过具体例子展示了这些组件如何集成工作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。

ODS——操作性数据

DW——数据仓库

DM——数据集市

1.数据中心整体架构

                                                        数据中心整体架构

数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。

2.数据仓库的ODS、DW和DM概念

                                                                       ods、dw、dm区分

3.ODS、DW、DM协作层次图

                                                         协作层次

4.通过一个简单例子看这几层的协作关系

                                                        例子

5.ODS到DW的集成示例

                                       集成例子  

小结

数据中心是一个全新的领域,要进这个门还需要正确理解数据中心领域所设计的专业词汇。

参考链接:https://www.jianshu.com/p/72e395d8cb33

来源:简书

### 数据仓库分层架构概述 #### ODS (操作型数据存储) ODS 是一种介于源系统和数据仓库之间的临时区域,用于接收来自多个源系统的原始交易数据。这些数据几乎不做任何转换处理就被加载进来,保持了最接近源系统的状态。由于其主要目的是为了快速访问最新的业务活动信息,因此通常只保留较短时间内的记录,一般不会超过一个月的时间跨度[^3]。 ```sql INSERT INTO ods_sales_data ( SELECT * FROM source_system.sales WHERE transaction_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 1 MONTH); ) ``` #### DW (数据仓库) 数据仓库是从 ODS 获取经过清洗、转换后的高质量历史数据,并依据特定的主题域构建多维模型来支持复杂的查询分析需求。这里的数据具有较高的稳定性和一致性,可以追溯多年的历史变化趋势,适合长期保存并供企业内部各部门共享使用。与 ODS 不同的是,DW 中的数据往往会被定期归档而不是简单删除,从而确保能够满足长时间范围内的数据分析要求[^1]。 ```sql CREATE TABLE dw_customer_transactions AS WITH cleaned_ods_data AS ( SELECT DISTINCT customer_id, product_id, SUM(amount) as total_amount FROM ods_sales_data GROUP BY customer_id, product_id ) SELECT c.customer_name, p.product_description, ct.total_amount FROM customers c JOIN products p ON c.id = p.customer_id JOIN cleaned_ods_data ct ON c.id = ct.customer_id AND p.id = ct.product_id; ``` #### DM (数据集市) DM 则专注于某一具体的业务领域或部门,基于 DW 提取出来的高度聚合的信息创建专门的应用程序视图。它更贴近最终用户的实际应用场景,提供了更加直观易懂的结果展示形式,比如报表、仪表盘等。通过这种方式,管理层可以直接获取所需的关键绩效指标(KPIs),辅助日常运营管理和战略规划决策过程[^2]。 ```sql CREATE VIEW dm_monthly_sales_report AS SELECT EXTRACT(YEAR_MONTH FROM sale_date) AS year_month, region, SUM(sales_value) AS monthly_sales FROM dw_customer_transactions GROUP BY year_month, region; ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值