【大数据Hive3.x数仓开发】数仓基础理论

文章介绍了数据仓库的概念,强调其作为分析系统的作用,区别于OLTP系统。数仓的构建涉及ETL过程,数据经过抽取、转换、加载整合。数仓分为ODS、DW、DA层,每层有特定功能。OLTP和OLAP分别对应事务处理和分析处理,而数据仓库是面向分析的集成数据环境。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

注:学习课程:黑马程序员Hive全套教程,大数据Hive3.x数仓开发精讲到企业级实战应用的学习记录。

概念

数据仓库(Data Warehouse)是一个用于存储、分析、报告的数据系统;
数据仓库的目的是构建面向分析的集成化数据环境,分析结果为企业提供决策支持。

数仓本身不生产数据,数据来源于不同外部系统;
同时数据仓库自身也不需要消费任何数据,生成的数据结果开放给各个外部应用使用。

因此叫仓库,不叫工厂。

OLTP

1)操作型记录的保存
OLTP(联机事务处理系统)基本特征是前台接受的用户数据可以立即传给后台处理。关系型数据库是典型应用。Oracle、MySQL,SQLserver
2)分析型决策的制定
稳妥办法是:==基于业务数据开展数据分析,基于分析的结果给决策提供支撑。即所谓的数据驱动决策的制定。
OLTP环境开展分析可以但没必要,OLTP核心是面向业务,支持业务,支持事务。一般来说读的业务大于写的压力。有这些问题:读取压力大;进存储数周或数月数据;数据分散不同表,字段类型属性不统一。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值