尬聊数据仓库

本文详细介绍了数据仓库的ETL过程,包括定义、作用及设计步骤,并探讨了数据仓库的本质、建设原因、特性,以及OLTP与OLAP的区别。进一步阐述了数仓的架构分层、开发流程,以及如何建立数仓,提供了完整的数据流向图解,帮助理解数仓与数据库的异同。
一.ETL(其实也就是对源数据的清洗)
1.ETL定义:

​ 将业务系统的数据经过抽取、清洗转换之后加载到数据仓库。

2.ETL作用:

​ 企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。

3.ETL设计步骤:

​ 数据抽取、数据的清洗转换、数据的加载。

①数据抽取:从各个不同的数据源抽取到ODS,期间将脏数据和不完整数据过滤掉。
②数据清洗和转换:清洗(不完整,错误,重复等数据),转换(行不一致的数据转换、数据粒度的转换,以及一些商务规则的计算).
③数据加载:清洗完的数据直接写入DW层期间进行业务规则的计算和聚合。
二.数仓
1.什么是数据仓库?
主要研究和解决从数据中获取信息的问题,为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
2.数据仓库的本质?
从操作型系统到决策支持系统的数据流架构模型
3.建设数仓的原因?
解决多重数据复制带来的高成本问题。
4.数据仓库的特性

①面向主

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

尬聊码农

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值