Hive+Spark离线数仓工业项目--数仓维度层DWS层构建(1)

本文介绍了在一站制造业务中使用Hive和Spark进行数据仓库DWS层构建的过程,包括需求调研、主题域划分、维度设计、维度模型选择以及行政地区维度的具体设计和构建。重点讨论了如何通过维度建模细化指标,提升数据分析的精确性,并详细阐述了各个业务主题的维度设计和实例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

维度建模回顾:建模流程

目标:掌握维度建模的建模流程

实施

step1-需求调研:业务调研和数据调研

    - 了解整个业务实现的过程
    - 收集所有数据使用人员对于数据的需求
    - 整理所有数据来源

  step2-划分主题域:面向业务将业务划分主题域及主题

    - 用户域、店铺域
    - 商品域、交易域、
    - 客服域、信用风控域、采购分销域

step3-构建维度总线矩阵:明确每个业务主题对应的维度关系

 step4-明确指标统计:明确所有原生指标与衍生指标

原生指标:基于某一业务事件行为下的度量,是业务定义中不可再拆分的指标,如支付总金额

衍生指标:基于原子指标添加了维度:近7天的支付总金额等

step5-定义事实与维度规范

    - 命名规范、类型规范、设计规范等

step6-代码开发

    - 实现具体的代码开发

    - 只要知道指标的计算方式,基于维度分组计算指标
  

维度建模回顾:维度设计

目标:掌握维度建模中维度的设计

实施

功能:基于组合维度来更加**细化我们的指标**,来更加精确的发现问题
- 指标如果不基于组合维度进行分析得到,指标的结果是没有意义的
实现:开发中维度就是指标聚合时的**分组字段**
特点
    - 数据量小
    - 很少发生变化
采集方式:全量
常见维度
    - 时间维度:年、季度、月、周、天、小时
    - 地区维度:国家、省份、城市
    - 平台维度:网站、APP、小程序、H5
    - 操作系统维度:Windows、Mac OS、Android、Linux、IOS
    - ……

维度建模回顾:维度模型

目标:掌握维度设计的常用模型

路径

  - step1:雪花模型
  - step2:星型模型
  - step3:星座模型

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值