了解ODS、DW和DM概念

在和数据架构师聊天的时候,提到了ODS.当时对这个概念并不是很了解,需要深入学习一下

一.ODS、DW和DM概念

在这里插入图片描述
ODS: 操作性数据;
DW: 数据仓库;
DM: 数据集市;

ODS的数据是"实时值",而数据仓库的数据却是"历史值",一般ODS中储存的数据不超过一个月,而数据仓库为10年或更多.
DSS(decision-support system)决策支持系统:用于支持管理决策的系统。通常,DSS包括以启发的方式对大量的数据单元进行的分析,通常不涉及数据更新。

二.数据仓库和ODS并存方案
1、业务数据 - ODS - 数据仓库

在这里插入图片描述
优点:ODS的数据与数据仓库的数据高度统一;开发成本低,至少开发一次并应用到ODS即可;可见ODS是发挥承上启下的作用,调研阿里巴巴的数据部门也是这么实现的。

缺点:数据仓库需要的所有数据都需要走ODS,ODS的灵活性必然受到影响,甚至不利于扩展、系统的灵活性差

2、OB - ODS

优点:所有数据都归结到ODS,结构简单。一般的初创数据分析团队都是类似的结构

缺点:长期数据决策分析能力差,软硬件成本高,模块划分不清晰,通用性差

3、数据仓库和ODS并行

在这里插入图片描述

4.ODS、DW、DM协作层次图

在这里插入图片描述

5.通过一个简单例子看这几层的协作关系

在这里插入图片描述

6.ODS到DW的集成示例

在这里插入图片描述
参考:https://www.cnblogs.com/kuang17/p/7091941.html
参考:https://www.jianshu.com/p/72e395d8cb33

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cocktail_py

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值