数仓建模流程

本文详细介绍了数据仓库建模的整个过程,从业务建模理解需求,到概念模型整理实体,再到逻辑模型设计表结构,然后是物理建模进行实际开发。重点阐述了拉链表在处理频繁更新数据中的应用,确保数仓数据的准确性和追溯性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

大体流程为***业务模型->概念模型->逻辑模型->物理模型***

业务建模

解决业务层面的分解和程序化。就是和业务部门聊聊需求,熟悉一下业务。了解一下你们需要啥数据(指标和维度),你们有啥数据。这过程中,将业务部门的需求和实际情况记录汇总,依据此来大概确定未来数仓的技术选型和数据主题域
搞清楚系统边界,确定好主题域,说白了就是确定这个数仓要干什么,不干什么。

概念模型(领域建模)

就是和业务部门把业务理清楚之后,根据现有数据整理出实体表都有什么,维度表都有什么,事件表都有什么,关系表都有什么,这些表的关联性。将所有数据整理为ER图,计划好这些数据怎么存放,如何关联使用。

逻辑模型

其实就是设计表结构,根据上一步整理的ER图,设计具体的表的表结构和etl方法。
比如什么字段做主键,数据怎么维护,怎么更新,怎么调用。
比如拉链表等。

物理建模

具体的开发,结合业务数据位置、业务数据结构、ETL工具、集群性能等开发具体的代码或者建立具体的ETL工作流程。

常见名词解释

  • 指标

用户需要的结果字段,比如年总产量、人平均工资

  • 维度

计算指标的依据,比如时间、机构

    评论
    添加红包

    请填写红包祝福语或标题

    红包个数最小为10个

    红包金额最低5元

    当前余额3.43前往充值 >
    需支付:10.00
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明:

    1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

    余额充值