数据工匠记

最近上传的精品课程,有需要的请收藏 大数据开发架构课程: https://www.bilibili.com/video/BV1GX4y1g7yM/ Flink实时数仓项目实践: https://www.bilibili.com/video/BV1jv41187iP/ 大数据体系数据仓库建设: https://www.bilibili.com/video/BV1gh411D7md/ 关注公众号 ，专注于java大数据领域离线、实时技术干货定期分享！个人网站 www.lllpan.top ...

维度建模之缓慢渐变维 在从 OLTP 业务数据库向 DW 数据仓库抽取数据的过程中，特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题：业务数据库中的一些数据发生了更改，到底要不要将这些变化也反映到数据仓库中？在数据仓库中，哪些数据应该随之变化，哪些可以不用变化？考虑到这些变化，在数据仓库中的维度表又应该如何设计以满足这些需要。 每天保存当前数据的全量快照数据，该方案适合数据量较小的维度，使用简单的方式保存历史状态 在维表中添加关键属性值的历史字段，仅保留上一个的状态值 拉链表 什

维度建模之事实表 每个数据仓库都包含一个或者多个事实数据表。其中可能包含业务销售数据，如现金登记事务所产生的数据，通常包含大量的行。事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性维度表的主键，而维度表包含事实记录的特性。 事实表基础 事实表特征 事实表作为数仓维度建模...

维度建模之代理键 维度建模-代理键 维度表中必须有一个能够唯一标识一行记录的列，通过该列维护维度表与事实表之间的关系，一般在维度表中业务主键符合条件可以当作维度主键。 没有建立代理键时可能存在的问题： 当整合多个数据源的维度时，不同数据源的业务主键重复怎么办? 涉及维度拉链表时，同一主体多条记录，业务键重复怎么办? 什么是代理键？ 代理键是由数据仓库处理过程中产生的、与业务本身无...