注:学习课程:黑马程序员Hive全套教程,大数据Hive3.x数仓开发精讲到企业级实战应用的学习记录。
概念
数据仓库(Data Warehouse)是一个用于存储、分析、报告的数据系统;
数据仓库的目的是构建面向分析的集成化数据环境,分析结果为企业提供决策支持。
数仓本身不生产数据,数据来源于不同外部系统;
同时数据仓库自身也不需要消费任何数据,生成的数据结果开放给各个外部应用使用。
因此叫仓库,不叫工厂。
OLTP
1)操作型记录的保存
OLTP(联机事务处理系统)基本特征是前台接受的用户数据可以立即传给后台处理。关系型数据库是典型应用。Oracle、MySQL,SQLserver
2)分析型决策的制定
稳妥办法是:==基于业务数据开展数据分析,基于分析的结果给决策提供支撑。即所谓的数据驱动决策的制定。
OLTP环境开展分析可以但没必要,OLTP核心是面向业务,支持业务,支持事务。一般来说读的业务大于写的压力。有这些问题:读取压力大;进存储数周或数月数据;数据分散不同表,字段类型属性不统一。