hive在数仓ODS层到DWD层建模方法

数仓建模的原因

当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。二者的主要区别对比如下表所示。

创建数仓主要完成OLAP的业务需求,将原始数据导入到ODS层之后,就需要将原始数据的关系建模转变为维度建模

数仓建模的好处

数仓建模的好处从关系模型和维度模型的对比中可以看出

关系建模

关系模型如图所示，严格遵循第三范式（3NF），从图中可以看出，较为松散、零碎，物理表数量多，而数据冗余程度低。由于数据分布于众多的表中，这些数据可以更为灵活地被应用，功能性较强。关系模型主要应用与OLTP系统中，为了保证数据的一致性以及避免冗余，所以大部分业务系统的表都是遵循第三范式的。
OLTP系统中,数据多保存在关系型数据库(Mysql)中,一方面数据的冗余会造成数据库难以保存