6.数据仓库搭建之数据仓库设计

最新推荐文章于 2023-08-15 00:42:53 发布

Mmj666

最新推荐文章于 2023-08-15 00:42:53 发布

阅读量3.1k

点赞数 5

分类专栏：东软睿购跨境电商数仓项目文章标签：数据仓库 big data hive

本文链接：https://blog.youkuaiyun.com/Mmj666/article/details/125576771

版权

本文详细介绍了数据仓库的设计过程，包括数据分层规划、数据调研、明确数据域、构建业务总线矩阵、维度模型设计和汇总模型设计。特别强调了业务调研和需求分析的重要性，以及统计指标在数仓建模中的作用。通过对各业务过程和维度的分析，提出了多种关键统计指标，如渠道访客数、订单总额等，以满足不同的分析需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据仓库搭建之数据仓库设计

1.数据仓库的分层规划

本项目的分层规划如下图所示:

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NMSGDOez-1656761404918)(C:\Users\majie\Desktop\数仓项目\图片\数仓搭建\数仓分层规划.png)]$

对于原始数据层（ODS）：该层我们存放的是未经处理的原始数据，结构上与源系统保持一致，这是数据仓库的数据准备区。

对于明细数据层（DWD）：该层我们是基于维度建模理论进行构建的，用于存放维度模型中的事实表，保存各个业务过程的最小粒度的操作记录。

对于公共维度层（DIM）：该层我们是基于维度模型建模理论进行构建的，存放的是维度模型中的维度表，保存一致型维度信息。

对于数据汇总层（DWS）：该层的搭建则是根据上层的指标需求，以分析的主题对象作为构建模型驱动，构建公共统计粒度的汇总表。

对于数据应用层（ADS）：该层用于存放各项统计指标的结果。

2.数据仓库设计

我们本次项目的数据仓库设计依照下图当中的流程进行：
在这里插入图片描述

1）数据调研：在数仓设计的最初阶段，我们需要进行业务调研和需求分析。业务调研，调研的是业务系统中的数据和业务系统的逻辑；而需求分析，我们需要分析数仓下游将来会有哪些需求。

我们可以把数据仓库的设计开发比作厨师进行炒菜。设计数仓的过程就好比厨师做菜的一个过程。厨师的工作是将各种各样的食材经过加工处理，做成美味佳肴给顾客吃；而我们数仓开发者，需要处理的“食材”，就是业务系统产生的各种各样的数据，我们需要对这些数据进行一步一步的加工，最终将处理好的数据提供给数仓下游的应用进行使用。作为厨师，如果想让自己做的菜符合顾客的口味，那么厨师就不但需要熟悉做饭使用的食材，还需要了解顾客想要吃什么，这样才可以使用已有的食材做出令顾客满意的美食；我们进行数仓开发也是一样的道理。

2）明确数据域：对数据进行分类，按照特定标准对数据进行纵向划分。

3）构建业务总线矩阵：按照维度建模理论，对业务数据进行分析，抽象出业务过程和维度。

4）维度模型设计：构建DWD层和DIM层。

5）明确统计指标：对报表需求进行分析，整理出指标体系，包括原子指标、派生指标以及衍生指标。

6）汇总模型设计：构建DWS层