数据仓库ODS、DW和DM概念区分

最新推荐文章于 2022-01-05 10:03:53 发布
最新推荐文章于 2022-01-05 10:03:53 发布
阅读量525 收藏 2
点赞数 1
分类专栏： 数据库 文章标签： ODS DW DM
原文链接：https://www.jianshu.com/p/72e395d8cb33
版权
本文深入解析了数据仓库（DW）、操作性数据仓库（ODS）及数据集市（DM）的概念，介绍了数据中心的整体架构，包括元数据如何通过ETL过程整合至ODS，再到面向主题域的DW建模，最后到特定业务领域的DM模型生成。文章还探讨了这些层次间的协作关系，并通过实例说明了从ODS到DW的数据集成过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、ODS、DW和DM概念

二、数据中心整体架构

数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。

三、ODS、DW、DM协作层次

四、通过一个简单例子看这几层的协作关系

五、ODS到DW的集成示例

六、小结

数据中心是一个全新的领域，要进这个门还需要正确理解数据中心领域所设计的专业词汇。

【大数据技术干货】(还不懂数仓,数据中心?看这一篇就够了!)在实际的开发生产中,让你了解企业级数据中心整体架构(DB+ETL+ODS+DW+DM)的各个层次的过程详解,数据联系及功能区分
liuchunhang的博客
05-27 1124
一 企业级数据中心架构 数据仓库的整体架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 二 DB 三 ETL(Extract-Transform-Load) ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ET
数据仓库简介-ODS、DW和DM概念区分
03-28 1万+
一、什么是数据仓库 数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。 数仓的数据来源一般有：日志采集系统、业务系统数据库、爬虫系统等。通过对数据仓库中的数据进行分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。 举例： 对于一个电商App，数据显示对于进入支付页面的用户，只有30%进行了支付，这是一个反常的数据。这个时候产品经理进行分析，发现支付按钮的...
excel对比两边数据去重
夏天吹雪的博客
09-29 4214
需求:筛选重复数据，A列是1000条数据，C列是100条数据，删除重复的数据，只剩900条。 首先，A列数据要分列，因为数据格式不一样，会导致后面的问题，一直下一步到完成 第二步，在B和D列加数字1，相当于索引，相同的数据长度，做匹配，下图A和C的数据取反了 第三步，数据--筛选，然后过滤掉C列数据 最后复制A列的数据，已经处理好的数据，到其他页面，验证完成 ...
DW与DM
weixin_30735391的博客
02-19 422
DW组成部分简介 DW的组成部分有：针对数据源的分析、数据的ETL、数据的存储结构，元数据管理等。 数据源分析 主要是分析要抽取哪些数据，如何抽取（全量还是增量）？它的更新周期是怎么样的？它的数据质量如何？ 确定数据的格式，数据的域。 ETL ETL之前需要知道以下内容，数据源有哪些系统，各个业务系统的RDBMS是什么？是否存在手工维护的数据？ 数据抽取...
DM数据仓库建模
03-22
数据仓库建模的有关说明 详细的文档及解读的ppt
ODS和数据仓库的区别
weixin_43035213的博客
10-07 1159
ODS 操作型数据存储，存储的是当前的数据情况，给使用者提供当前的状态，提供即时性的、操作性的、集成的全体信息的需求。 ODS作为数据库到数据仓库的一种过渡形式，与数据仓库在物理结构上不同，能提供高性能的响应时间,ODS设计采用混合设计方式。 ODS中的数据是"实时值",而数据仓库的数据却是"历史值"，一般ODS中储存的数据不超过一个月，而数据仓库为10年或更多。 DW 数据仓库存储是一个面向主题...
数据仓库DW、ODS、DM概念及其区别
lghpy的博客
01-05 1006
整体结构 在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向 DB 是现有的数据来源，可以为mysql、SQLserver、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL的是 Extract-Transform-Load 的缩写，用来描述将数据从来源迁移到目标的几个过程： Extract，数据抽取，也就是把数据从数据源读出来。 Transform，数据转换，把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下，Transform也包含数据清洗，清洗掉噪音数据。
ods dw dm 说明
cloudgogo的博客
03-09 292
ods dw dm 说明 ODS——操作性数据 DW——数据仓库 DM——数据集市 数据中心整体架构 数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 数据仓库的ODS、DW和DM概念 ods、dw、dm区分 3.ODS、DW、DM协作层次图 协作层次 4.通过一个简单例子看这几层的协作关系 例子 5.ODS到
浅析数仓分层：DB+ODS+DW+DM
q1042960848的博客
12-07 2942
本期将从结构层面了解数据仓库分层的几个名词和简单理解。 文章目录1 理想的数据分层总体结构2 DB层：关系型数据库和非关系型数据库2.1 关系型数据库RDB2.2 非关系型数据库NoSQL3 ODS层：操作数据存储层3.1 ODS产生背景3.2 ODS在企业数据架构中担任的角色3.3 ODS层的特征3.4 ODS层的功能4 DW层：数据仓库 1 理想的数据分层总体结构 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CFfRleTt-1607275403838)(C:%5C.
ODS、DW和DM
weixin_30873847的博客
10-24 85
参考资料： 数据仓库ODS、DW和DM概念区分：https://www.jianshu.com/p/72e395d8cb33 转载于:https://www.cnblogs.com/jycjy/p/9844743.html
【转】数据仓库ODS、DW和DM概念区分
热门推荐
与优秀的人在一起，会使自己变得更优秀
06-27 8万+
今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构     数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用...
ODS、DW、DM
Julia & Rust & Python
05-06 502
https://zhuanlan.zhihu.com/p/354299771 ODS、DW、DM 鑫第弟 本科生的小渣渣 由于网上的资料过于片段化，导致我们在了解ODS、DW、DM时，不能很好的掌握理解该部分知识，而且查阅过多资料属实浪费时间。所以我将知识整理，以便更好的了解该部分知识，文章最后将给出参考来源。 先介绍几个概念 （1）DB（数据库），是现有的数据来源（也称各个系统的元数据），可以分为mysql、SQL Server、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。 （2）
ods,dw,dm理解
ml_hhy的博客
11-01 1万+
ods，dw，dm解释与理解 ods：操作性数据仓库ods的应用场景 1.在业务系统和数据仓库之间形成一个隔离，ods直接存放从业务系统抽取过来的数据，这些数据从结构和数据上与业务系统保持一致，降低了数据抽取的复杂性。 2.转移一部分业务系统的细节查询功能，因为ods存放的数据与业务系统相同，原来有业务系统产生的报表，现在可以从ods中产生了。 3.完成数据仓库中不能完成的功能。ods存放的是明细...
了解ODS、DW和DM概念
Cocktail_py的博客
12-05 1388
在和数据架构师聊天的时候,提到了ODS.当时对这个概念并不是很了解,需要深入学习一下 一.ODS、DW和DM概念 ODS: 操作性数据; DW: 数据仓库; DM: 数据集市; ODS的数据是"实时值",而数据仓库的数据却是"历史值"，一般ODS中储存的数据不超过一个月，而数据仓库为10年或更多. DSS(decision-support system)决策支持系统：用于支持管理决策的系统。...
ODS、DW、DM区别
qq_33566101的博客
11-17 877
作者：悟成 链接：https://www.jianshu.com/p/72e395d8cb33 来源：简书 今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 2.数
ODS、DW、DM的区别
tianyeshiye
07-08 2375
ODS：操作性数据仓库，最早的数据仓库模型。特点是数据模型采取了贴源设计，业务系统的数据结构是怎样的，ODS数据库的结构就是怎样的。所不同的是ODS数据库可以提供数据变化的历史，所以ODS数据库中每张表都会增加一个日期类型，表示数据的时点，将每天数据的变化情况都存下来，这样有利于数据的分析。 DW：数据仓库，点在大家都在说的就是这个。所不同的是每个行业的DW都有一个通用的数据模型，结构精简，...
DW，DM名词解释
三暮辰的博客
12-10 3031
DW ,DM等名词概念 DB，数据库 DW，数据仓库，保存的是数据再不通时间点的状态 DM，以某个业务应用为出发点而建立的局部DW，DW只关心自己需要的数据，不会全盘考虑企业整体的数据架构和应用给，每个应用有自己的DM ODS，操作性数据仓库，最早的数据仓库模型，业务系统的数据结构是怎样的，ods数据库的结构就是怎样的。比我我们从mysql中导入数据，ods层的元数据和数据和mysql中完全一致。 ...
数据仓库ODS、DW和DM概念 - 3
cuixie2370的博客
06-03 340
3.3 DM 数据集市，以某个业务应用为出发点而建设的局部DW。DM只关心自己需要的数据，不会全量考虑企业整体 数据架构和应用，每个应用有自己的DM。 数据集市就是满足特定的部门或者用户的需求，按照多维的方...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值