数据仓库知识之ODS/DW/DM

最新推荐文章于 2025-07-03 15:41:16 发布
最新推荐文章于 2025-07-03 15:41:16 发布
阅读量1.7w 收藏 80
点赞数 8
分类专栏： 大数据基础知识 文章标签： ODS DW DM 数据仓库
本文介绍了数据仓库的整体架构，包括操作性数据仓库(ODS)、数据仓库(DW)及数据集市(DM)的概念及其协作关系，并通过实例展示了从ODS到DW的数据集成过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。

  • 数据中心整体架构图

  • 数据仓库的ODS、DW和DM概念

  • ODS、DW、DM协作层次图

 

  • 通过一个简单例子看这几层的协作关系

  • ODS到DW的集成示例

 

数据仓库--通用的数据仓库分层方法？为何分层？ODS/ DW/DWD/DWS/APP
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-20 2161
0x00 概述 数据分层是数据仓库设计中十分重要的一个环节，优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计，或缺少明确而详细的说明，或缺少可落地实施的方案，或缺少具体的示例说明。 因此，本文将指出一种通用的数据仓库分层方法，具体包含如下内容： 介绍数据分层的作用 提出一种通用的数据分层设计，以及分层设计的原则 举出具体的例子说明 提出可落地的实践意见 0x01 数据分层？ “为什么要设计数据分层？” 这应该是数据仓库同学在设计
传统数据仓库 DW/EDW/BI/ODS/DM/ETL
流浪地球的博客
05-28 8533
DW 数据仓库 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 EDW 企业数据仓库 数据仓库(DW)概念的创始人W. H.Inmon对数据仓库下了这样的定义：“数据...
数据中心建设方案 ods应用
11-24
电子政务数据中心建设方案，ods在电子政务中的应用
DW与DM
weixin_30735391的博客
02-19 439
DW组成部分简介 DW的组成部分有：针对数据源的分析、数据的ETL、数据的存储结构，元数据管理等。 数据源分析 主要是分析要抽取哪些数据，如何抽取（全量还是增量）？它的更新周期是怎么样的？它的数据质量如何？ 确定数据的格式，数据的域。 ETL ETL之前需要知道以下内容，数据源有哪些系统，各个业务系统的RDBMS是什么？是否存在手工维护的数据？ 数据抽取...
ODS 是什么？一文搞懂 ODS 与数据仓库区别
最新发布
Leo的博客
07-03 1031
ODS（操作型数据存储）和数据仓库是企业数据管理的两大核心组件。ODS专注于实时整合业务系统数据，提供最新业务视图，支持日常运营决策；数据仓库则存储历史数据，用于战略分析和趋势预测。两者在数据时效性（实时vs历史）、用途（运营支持vs战略分析）、处理方式（快速集成vs深度加工）和存储结构（简单高效vs复杂优化）上存在显著差异。尽管功能不同，它们通过数据流向和功能互补共同构成完整的数据决策体系。企业应根据业务需求（实时监控或长期规划）和数据特点（高频变化或海量历史）选择适合的方案，通常两者配合使用效果更佳
ODS、DW和DM
u013165852的博客
10-24 647
ODS、DW和DM 参考资料： 数据仓库ODS、DW和DM概念区分：https://www.jianshu.com/p/72e395d8cb33 posted @ 2018-10-24 17:27 酸奶加绿茶 阅读(...) 评论(...) 编辑 收藏 ...
数据分层/ODS/DW/DM
thdline的博客
06-29 4328
数据分层/ODS/DW/DM数据分层数据分层的目的ODS层 （Operational Data Store 又称数据运营层）DW层（data warehouse 数据仓库）DM层 (data market 数据集市） 数据分层 数据分层的目的 我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因： 1.清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 2.数据血缘追踪：简单来讲可以这样理解，我们最终给业
ODS、DW、DM
代码过客
05-06 524
https://zhuanlan.zhihu.com/p/354299771 ODS、DW、DM 鑫第弟 本科生的小渣渣 由于网上的资料过于片段化，导致我们在了解ODS、DW、DM时，不能很好的掌握理解该部分知识，而且查阅过多资料属实浪费时间。所以我将知识整理，以便更好的了解该部分知识，文章最后将给出参考来源。 先介绍几个概念 （1）DB（数据库），是现有的数据来源（也称各个系统的元数据），可以分为mysql、SQL Server、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。 （2）
数据仓库简介-ODS、DW和DM概念区分
热门推荐
03-28 1万+
一、什么是数据仓库 数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。 数仓的数据来源一般有：日志采集系统、业务系统数据库、爬虫系统等。通过对数据仓库中的数据进行分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。 举例： 对于一个电商App，数据显示对于进入支付页面的用户，只有30%进行了支付，这是一个反常的数据。这个时候产品经理进行分析，发现支付按钮的...
数据仓库DW、ODS、DM概念及其区别
lghpy的博客
01-05 1056
整体结构 在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向 DB 是现有的数据来源，可以为mysql、SQLserver、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL的是 Extract-Transform-Load 的缩写，用来描述将数据从来源迁移到目标的几个过程： Extract，数据抽取，也就是把数据从数据源读出来。 Transform，数据转换，把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下，Transform也包含数据清洗，清洗掉噪音数据。
数据仓库(DW)与操作型数据存储(ODS)
12-24
在操作型数据库(事务型数据库.一般采用结构化数据库)和数据仓库架构盛行的时代,面向服务的架构(soa)需要实时的BI,操作型数据仓库是一个好的选择
数据中心ODS磁盘组扩容实施方案
04-25
数据中心ODS磁盘组扩容实施方案，文档包含数据中心生产系统一整套的ODS磁盘组扩容方案，包含实施前后各项准备工作。
ODS与DW之间的关系
weixin_39578428的博客
01-28 635
1、什么是数据仓库？ 数据仓库是面向主题的、集成的、相对稳定的、反应历史变化的数据集合，主要用于决策支持和信息的全局共享。 时效：T+1 2、什么是ODS？ ODS全称为Operational Data Store，即操作型数据存储，是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合，用来满足企业综合的、集成的以及操作型的处理需求”。 ODS是数据仓库体系结构...
ods,dw,dm理解
ml_hhy的博客
11-01 1万+
ods，dw，dm解释与理解 ods：操作性数据仓库ods的应用场景 1.在业务系统和数据仓库之间形成一个隔离，ods直接存放从业务系统抽取过来的数据，这些数据从结构和数据上与业务系统保持一致，降低了数据抽取的复杂性。 2.转移一部分业务系统的细节查询功能，因为ods存放的数据与业务系统相同，原来有业务系统产生的报表，现在可以从ods中产生了。 3.完成数据仓库中不能完成的功能。ods存放的是明细...
（数据架构）浅析数据库(DB)、操作数据存储(ODS)和数据仓库(DW)的区别与联系（转载）
达中的专栏
02-06 1581
文章背景： 相信大部分刚接触上面三个概念的同学，都多多少少会有些迷惑，现在我就给大家简单分析下这三者的关系，希望大家对这三者的概念理解有所帮助吧。 本文主要从下面两类关系来叙述上面三者的关系： 数据库（DB）和数据仓库（DW）的区别与联系 操作数据存储（ODS）和数据仓库（DW）的区别与联系 数据库与数据仓库的区别与联系 数据库与数据仓库基础概念： 数据库：传统的关系型数据库的主要应用...
ODS DW APP DIM 数仓
zhang的博客
09-27 477
大数据 数仓
浅谈ODS与DW的区别-数据项目实战总结
xiaohai798的专栏
11-01 9756
浅谈ODS与DW的区别-数据项目实战总结
ODS设计思路-ODS到DW同步
cnm123456001的博客
11-29 1456
ODS作为DW和业务系统的中间数据层，保留了两者的部分特性，在基本数据上，继承了业务系统的数据形式和组织结构，但出于查询和分析的需求，也可以进行部分粗粒度的汇总，提供部分维度。 ODS与DW对比特点： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值