该博客详细介绍了如何使用Hive和Spark进行离线数仓的维度层构建，包括日期时间、服务网点和油站维度的设计与实施。日期时间维度表按增量同步到分区中，服务网点维度表从多个源表关联获取信息，油站维度表涉及去重处理。同时，还提到了组织机构和其他维度如仓库、物流的构建流程，以及在Spark中遇到的常见问题与解决办法。
日期时间维度设计
目标：掌握日期时间维度的需求与设计
路径
- step1：需求
- step2：设计
实施
需求：构建日期时间维度表，得到所有年、季度、月、周、日的维度信息
统计不同时间维度下的呼叫次数、工单数、维修数、安装数、报销金额、核销数等
设计
- 数据来源：提前通过程序生成构建，不是从数据中抽取
- 执行周期：每一年生成下一年的每一天的维度信息，**增量**同步到维度表的分区中
日期时间维度构建
目标：实现日期时间维度表的构建
实施
建维度表
加载数据
服务网点维度设计
目标：掌握服务网点维度的需求与设计
路径
- step1：需求
- step2：设计
实施
需求：构建服务网点维度表，得到服务网点id、网点名称、网点所属的地理区域、服务网点状态等
统计不同服务网点的服务人员数、工单数、核销数等
设计
数据来源
最低0.47元/天 解锁文章
扫一扫
417
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
