数据仓库-3.数据维度建模-下

(笔记)数据仓库工具箱:维度建模的完全指南--一致性维度 一致性维度在数据仓库总线中的作用:奠基石。 一致性维度:要么是同一的,要么是具有最佳粒度性与细节性的维度在严格数学意义上的子集。 一致性维度的三种基本的交付步骤。 数据整合的关键就是生成一致性维度,再通过一致性维度将来自不同数据源的事实数据合并到一起,供分析使用。通常来说,生成一致性维度有如下三个步骤: 1.标准化(Standardizing) 标准化的目的是使不同数据源的数据编 阅读详情

数据仓库系列之维度建模二

      这篇文章中我们依然学习了解维度建模中的基本要素事实表和维度表的类型以及维度设计方法。首先里了解维度建模中的事实表类型,在依次介绍维度类型,一致性维度和一致性事实,维度设计方法。接下来进入正题。

      一、事实表 

       事实表存储了从业务活动或事件提炼出来的性能度量,它主要包含维度表的外键和连续变化的可加性数值或半可加事实。事实表产生于业务过程中而不是业务过程的描述性信息。它一般是行多列少,占据数据仓库大约90%的空间。在维度模型中也有表示多对多关系的事实表,其他都是维度表。 

      1、事实表粒度

        事实表的粒度是产生事实行数据的度量事件的业务定义。粒度确定了事实表的业务主键, 事实表的所有度量值必须具有相同的粒度。 

       2、事实表类型

           2.1、事务事实表

           它是面向事务的,其粒度是每一行对应一个事务,它是最细粒度的事实表也称“原子事实表”。事务事实表中的数据在事务事件发生后产生,数据的粒度通常是每个事务一条记录。一旦事务被提交,事实表数据被插入,数据就不再进行更改,其更新方式为增量更新。

          2.2、周期快照事实表

          它是按照良好的时间周期间隔(每天,每周,每月)来捕捉业务活动的执行情况,一旦装入事实表就不会再去更新,它是事务事实表的补充,而非替代。典型的例子如销售日快照表、库存日快照表等。周期快照事实表的粒度是每个时间段一条记录,通常比事务事实表的粒度要粗,是在事务事实表之上建立的聚集表。周期快照事实表的维度个数比事务事实表要少,但是记录的事实要比事务事实表多。周期快照事实表的日期维度通常是记录时间段的终止日,记录的事实是这个时间段内一些聚集事实值。事实表的数据一旦插入即不能更改,其更新方式为增量更新。

         2.3、累积快照事实表

         它用于描述业务过程中某个不确定时间跨度里的活动,它随着业务活动的发生会不断的更新。累积快照事实表和周期快照事实表有些相似之处,它们存储的都是事务数据的快照信息。但是它们之间也有着很大的不同,周期快照事实表记录的确定的周期的数据,而累积快照事实表记录的不确定的周期的数据。

         累积快照事实表代表的是完全覆盖一个事务或产品的生命周期的时间跨度,它通常具有多个日期字段,用来记录整个生命周期中的关键时间点。另外,它还会有一个用于指示最后更新日期的附加日期字段。由于事实表中许多日期在首次加载时是不知道的,所以必须使用代理关键字来处理未定义的日期,而且这类事实表在数据加载完后,是可以对它进行更新的,来补充随后知道的日期信息。

        举例来说客户购买商品的整个过程记录:订货日期 预定交货日期 实际发货日期 实际交货日期 数量 金额 运费

        在这个累积快照事实表中,记录的是购买货物的整个生命周期的数据,记录第一次产生时,实际发货日期和实际交货日期是不确定的,需要用表示未知的代理关键字来代替。等实际发货后,需要对数据仓库中的这条记录进行更新操作,将实际发货日期补上。

        3、事实表区别: 

 

           二、维度表 

          维度表是对业务过程的上下文描述,主要包含代理键、文本信息和离散的数字。它是进入事实表的入口,丰富的维度属性给出了对事实表的分析切割能力,它一般是行少列多。如果属性值是离散的,用于过滤和标记的,就放到维度表里,如果是属性值是连续取值,可用于计算的,就放到事实表中。

         1、维度表类型

           1.1、缓慢变化维

             1)、类型1

                字段值发生变化时覆盖原来的值。 

 

              2).类型2

              字段值发生变化时会新增一行,重新分配代理键,每一行添加开始日期,结束日期,版本号,是否当前值。 

              3).类型3

             每条记录会新增一列来标识变化前的值,发生变化时,把旧值放到新增的列中,把新值覆盖旧值。

                4).混合类型

                把上面的三种类型混合来使用。

         1.2日期维

            它是数据仓库必须有的维度,包含日期,日期所属的周,月,季度,年等信息。 

         1.3角色维

           相同的维度表在维度模型中扮演不中的逻辑角色,一般通过创建视图来表示。

         1.4杂项维

          如果每个属性值都很少,可以把这些维度的组合起来生成一个维度表。 

         1.5支架维

         如果维度之间是一对多的关系或区别于原维度的多个描述性维度属性,可以建雪花型支架维度。

              1.6多值维度桥接维

              如果二个维度表是多对多的关系,可以使用多值维度设计。

       

              1.7微型维

              一个大型维有些属性变化比较频繁,把这些属性单独生成一个微型维度表。

            1.8缩小维

它是维度表的一个子集或部分属性。

1.9查找维

系统里代码表里维度信息。

1.10层次维

有些维度表是有层次结构的,可以通过视图生成树形结构的维度表。

             还需要注意,手工维护的维表,有些数据不在业务系统里,需要业务用户手工维护的维度表。

           三、维度建模核心:一致性维度和事实

          企业数据仓库应该建立一致性维度和事实,而不是为每个部门建立维度和事实。 

          3.1、一致性维度

          维度一直是大家所熟知的,但是前面加上了“一致性”之后便成了数据仓库特有的一类维度表,其实一致性维度在表结构和属性都没有本质的区别,有一点的差异是数据仓库的星型模型会使得维度表有一定的冗余。那么一致性体现在哪里呢: 维度共享性。共享性体现在整个平台或整个部门共用维度,而不仅仅只是单纯某个业务单独使用。 一般的维度并没有把共享性作为一个共性的标准。然而在维度建模中,一致性维度将作为重心来做。数据仓库70%的工作量和复杂度是用在构建一致性维度。一致性维度将作用于数据仓库和数据集市甚至是OLAP。

          3.2、一致性事实

          指每个度量在整个数据仓库中都是唯一的统计口径,为了避免歧义,一个度量只有唯一的业务术语。一致性事实在建立多个数据集市时,完成一致性维度的工作就已经完成了一致性的80%-90%的工作量。余下的工作就是建立一致性事实。 一致性事实和一致性维度有些不同,一致性维度是由专人维护在后台,发生修改时同步复制到每个数据集市,而事实表一般不会在多个数据集市间复制。需要查询多个数据集市中的事实时,一般通过交叉探查来实现。 为了能在多个数据集市间进行交叉探查,一致性事实主要需要保证两点。第一个是KPI的定义及计算方法要一致,第二个是事实的单位要一致性。如果业务要求或事实上就不能保持一致的话,建议不同单位的事实分开建立字段保存。

        四、维度模型设计方法 

        维度建模方法就讲解到这里。下一篇我们开始来数据仓库的ETL过程。本文中如有错误或误导的地方欢迎大家指出纠正。 希望这篇文章能够给大家带来帮助,最后感谢大家的阅读。欢迎大家一起加入高效数据处理ETL交流群,一起讨论数据分析前ETL过程的问题,一起学习一起成长。 

【电商数仓】关系建模与维度建模、维度表和事实表、几种维度模型、数仓建模原则 维度建模一定要选定一个中心,这个中心就是需要做的业务,如电商的核心业务就是订单,那么在对电商业务进行维度建模的时候,就可以将订单放到中心的位置。描述订单的方式一般为:和人,何时,何地,下的什么订单,一个用户,一个维度;例如,需要统计,什么时间下的订单多,哪个地区下的订单多,哪个用户下的订单多。在业务系统中,挑选感兴趣的业务线,比如下单业务,支付业务,退款业务,物流业务,一条业务线对应一张事实表。此处的“事实”一词,指的是业务中的度量值(次数、个数、件数、金额,可以进行累加),例如订单金额、下单次数等。 阅读详情

相关推荐

数据仓库工具箱(第3版) ---维度建模权威指南 目录指南

链接:https://pan.baidu.com/s/1yHn7wJxOEJt1GdUWTp7H7Q 密码:nx7y 随着The Data Warehouse Toolkit(1996)第1版的出版发行,Ralph Kimball为整个行业引入了维度建模技术。从此,维度建模成为一种被广泛接受的表达数据仓库和商业智能(DW/BI)系统中数据的方法。该经典书籍被认为是维度建模技术、模式和*实践的权威...

mqingo的博客 5830

数仓建模理论--维度建模

总线架构: 维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构(MD)中的三个关键性概念之一,另两个是一致性维度(Conformed Dimension)和一致性事实(Conformed Fact)。 一致性维度和事实,企业数据仓库应该建立一个一致性维度和事实,而不是为每个部门建立维度和事实。 一致性维度: 具有一致的维度关键字,一致的属性列名称,一致的属性定义和一致的属性值。一致性维度要么是统一的,要么是维度表的一个子集。

qq_43118086的博客 1616

数据仓库工具箱:维度建模权威指南3

数据仓库工具箱:维度建模权威指南3 零售业务 维度模型设计的4步 综合考虑用户需求、数据来源,设计维度模型。只考虑数据源,以数据驱动,基本不能取得成功。 选择业务过程 声明粒度 客户销售事务上的每个产品扫描到一行中 医生开具的票据的列表内容项采用一行表示 机场登机口处理的每个登机牌采用一行表示 仓库中每种材料库存水平的每日快照采用一行表示 每个银行账户每月的情况采用一行表示 应以业务数语表示,用主键声明是不可取的 确定维度(列名带有key后缀) “谁、什么、何处、何时、为何、如何” 常见维度有:日期、

weixin_42923199的博客 2572

搭建数据仓库第07篇:逻辑建模–4–维度建模核心之一致性维度

目录 前言 What一致性维度 When一致性维度 Where一致性维度 How一致性维度 Why一致性维度 小结 前言 上一篇提到了数据仓库建设中的维度建模方法,了解了总线架构的基础是一致性维度。本篇将具体的总结一致性维度的5W问题。 What一致性维度 维度一直是大家所熟知的,但是前面加上了“一致性”之后便成了数据仓库特有...

baiba7240的博客 610

数据仓库工具箱(第3版) ---维度建模权威指南 第一章 数据仓库、商业智能及维度建模初步

数据仓库工具箱(第3版) ---维度建模权威指南 本书共21章 数据仓库和商业智能(Data Warehousing and Business Intelligence,DW/BI) 数据库容量从=的发展: MB-->GB-->TB-->PB前提:DW/BI系统必须以业务用户的需求来驱动,才能真正从维度角度设计和展现 维度建模是一种主要的DW/BI,受到广泛认可。从业者和学者...

mqingo的博客 2083

10、维度一致性:数据仓库的关键要素

本文深入探讨了数据仓库中维度一致性的关键概念与实践方法,涵盖共享维度表、一致性汇总、一致性退化维度和重叠维度四种主要类型。通过定义、示例、操作步骤及应用案例,系统阐述了如何实现和维护维度一致性,以支持跨流程分析和避免信息孤岛。文章还介绍了使用一致性矩阵进行规划的方法,并提供了ETL流程图和实际零售企业案例,帮助读者理解如何在真实场景中构建高效、一致的数据仓库体系。

docker8compose的博客 53

探索数据仓库维度建模的艺术:《数据仓库工具箱维度建模权威指南第3版》中英双语版下载

探索数据仓库维度建模的艺术:《数据仓库工具箱维度建模权威指南第3版》中英双语版下载 【下载地址】数据仓库工具箱维度建模权威指南第3版中英双语版下载 《数据仓库工具箱维度建模权威指南第3版》是数据仓库与商业智能领域的经典之作,由业界权威Ralph Kimball撰写。本书全面系统地介绍了维度建模的核心技术与最佳实践,结合丰...

gitblog_06790的博客 814

数据仓库维度建模指南第3版详解及应用实践

数据仓库(Data Warehouse)是一个面向主题的、集成的、非易失的、时变的数据集合,用于支持管理决策制定。它通过整合来自多个操作型系统的数据,并将这些数据汇总、清洗、转换和存储为一个一致的数据视图,从而为企业提供全面、准确的信息。维度建模是一种专门为支持数据仓库的查询和报表设计的技术。它的核心目标是把复杂的事务数据库转换成一个方便用户分析的格式。在数据仓库中,维度建模强调的是对数据的易理解性和易访问性,而不仅仅是数据的规范化存储。

weixin_42360733的博客 841

【亲测免费】 数据仓库维度建模的权威指南:《数据仓库工具箱 维度建模权威指南 (第3版)》

数据仓库维度建模的权威指南:《数据仓库工具箱 维度建模权威指南 (第3版)》 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在数据仓库和维度建模领域,有一本书被誉为“权威指南”,它就是《数据仓库工具箱 维度建模权威指南 (第3版)》。这本书详细介绍了维度建模的理论、方法和实践,是数据仓库设计与开发人员不可或缺的参考书籍。为了方便广大读者获取这一宝贵资源,我们特别创建了...

gitblog_09810的博客 1223

Mid-360与FAST-LIO2实战:从点云采集到高精度建图全流程解析

本文详细解析了使用Livox Mid-360激光雷达与FAST-LIO2算法实现高精度实时建图的全流程。内容涵盖硬件准备、软件环境搭建、算法部署配置、数据采集实战,并重点探讨了多楼层场景下的参数调优与误差抑制策略,为机器人及无人机三维感知应用提供了实用指南。

prometheus9mon的博客 416

使用openair包分析气象数据

气象数据通常是有规律的时间序列,分析气象数据时需要对空气质量测量、气象数据和扩散模型输出进行分析。openair 是用于分析空气质量数据或更广泛的大气成分数据的R软件包。该软件包广泛应用于学术界、公共和私营部门。该项目最初由英国自然环境研究委员会(NERC)资助,并由英国环境部(Defra)提供额外资金。

Christina 2522

【亲测免费】 数据仓库工具箱-维度建模权威指南-第3版

数据仓库工具箱-维度建模权威指南-第3版 【下载地址】数据仓库工具箱-维度建模权威指南-第3版 《维度建模权威指南-第3版》是数据仓库领域的经典之作,深入解析了维度建模的核心方法与技巧。本书通过大量实用案例,帮助读者轻松掌握数据仓库设计的关键概念,并涵盖了行业最新趋势与技术。无论您是初学者还是资深从业者,都能从中获得实用...

gitblog_06703的博客 468

ImageNet分类实战:用PyTorch复现AlexNet的5个关键技巧(附代码)

本文详细介绍了使用PyTorch复现经典AlexNet模型进行ImageNet图像分类的五个关键工程技巧。内容涵盖模型架构的现代重构、训练策略优化、核心组件实现与替代方案,以及实用的训练调试方法,并提供了完整的代码示例,帮助开发者深入理解深度卷积神经网络的实现细节与优化思路。

i0j1k2l3m的博客 95

《数据仓库工具箱维度建模权威指南第3版》中英双语版下载

《数据仓库工具箱维度建模权威指南第3版》中英双语版下载 【下载地址】数据仓库工具箱维度建模权威指南第3版中英双语版下载 《数据仓库工具箱维度建模权威指南第3版》是数据仓库与商业智能领域的经典之作,由业界权威Ralph Kimball撰写。本书全面系统地介绍了维度建模的核心技术与最佳实践,结合丰富的实际案例,帮助读者深入理...

gitblog_06723的博客 569

五子棋AI实战:极大极小搜索、Alpha-Beta剪枝与禁手实现

博弈树搜索是双人零和博弈AI的经典决策框架,其核心思想是假设对手最优应对,通过递归遍历走法空间寻找最优解。极大极小搜索配合Alpha-Beta剪枝,能在不影响决策结果的前提下将搜索量降至平方根级别,大幅提升搜索效率。在五子棋场景中,还需处理黑棋禁手规则,包括双三、双四和长连判定,并将其融入搜索框架。评估函数基于棋型识别对局面打分,走法排序和迭代加深进一步优化剪枝效果。这些技术共同构成了一个可运行的五子棋AI,适用于棋类AI入门与博弈搜索实践。

weixin_29054399的博客 133

基于imx6ull平台opencv的图像采集、ffmpeg推流和Windows端拉流(多线程)

本文档是针对imx6ull平台`opencv`的图像采集、ffmpeg推流和Windows端拉流。首先创建一个线程`opencv`通过摄像头采集视频图像,接着再创建两个线程,其中一个线程获取采集的视频图像送给ffmpeg服务,另一个线程用于获取采集的视频图像并处理,处理完并在显示屏上显示,详细的流程请参看如下。

程小二的博客 1607

【亲测免费】 数据仓库工具箱 维度建模权威指南 (第3版) 下载仓库

数据仓库工具箱 维度建模权威指南 (第3版) 下载仓库 去发现同类优质开源项目:https://gitcode.com/ 资源介绍 本仓库提供《数据仓库工具箱 维度建模权威指南 (第3版)》的资源文件下载。该书是数据仓库和维度建模领域的权威指南,详细介绍了维度建模的理论、方法和实践,是数据仓库设计与开发人员的重要参考书籍。 资源文件描述 标题: 数据仓库工具箱 维度建模权威指南 (第3版) 描述...

gitblog_09786的博客 530

cuMotion 入门教程(一)面向机器人学的GPU加速运动生成技术

NVIDIA cuMotion是一款高性能机器人运动生成库,专注于机械操作任务,利用GPU加速技术提升性能。开发者预览版支持运动学/逆运动学、碰撞感知路径规划、轨迹优化等功能,兼容任意自由度机器人。该库提供C++和Python接口,支持从URDF/XRDF文件加载机器人模型,包含世界建模、碰撞检测等工具。教程详细介绍了安装配置、机器人描述加载、运动学计算、世界建模、逆运动学求解以及轨迹优化等核心功能。cuMotion整合了Lula和cuRobo库的技术优势,将成为Isaac ROS的核心组件,适用于工业机器

2506_90492529的博客 2205

数据仓库学习(一)——数据仓库、商业智能及维度建模的初步

1.DW 数据仓库(Data Warehouse 简称DW)是一个面向主题的(SubjectOriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(TimeVariant)的数据集合,用于支持管理决策。 数据仓库是实现商务智能的基础平台。 2.BI 商业智能(Business Intelligence),是指通过对数据的收集、管...

xufan601391682的博客 2200

Unity3D实现自定义河流路径或泥石流路径

此工具是一个插件,插件很好用,可以根据地形编辑河流的走向以及宽度,也可以发挥想象编辑成其他的效果,比如泥石流效果,岩浆效果,小溪,或者大江或者大河等等博客将会介绍可以编辑河流的工具的使用。希望这篇博客对Unity的开发者有所帮助。大家好,我是心疼你的一切,不定时更新Unity开发技巧,觉得有用记得一键三连哦。提示:以下是本篇文章正文内容,下面案例可供参考本次总结的就是工具的使用, 有需要会继续增加功能不定时更新Unity开发技巧,觉得有用记得一键三连哦。么么哒!

心疼你的一切博客 5273

【NodeRed】node-red-contrib-opcua实现PLC读写

在之前的博文【Node-RED】node-red-contrib-opcua-server模块使用(1)中,我们介绍了用node-red-contrib-opcua-server模块实现OPCUA服务端的,以及二次开发的内容。本节博文中我们采用官方社区自带的node-red-contrib-opcua组件开展对OPCUA客户端的介绍,详细阐述用该组件中OpcUa-Client节点实现客户端对PLC的读写,以及实现过程中遇到的问题。由于官方社区中并没有找到该组件的介绍实例,这也是本博文编写的第1个原因。

weixin_48618536的博客 962

数据仓库(3)数仓建模之星型模型与维度建模

  维度建模是一种将数据结构化的逻辑设计方法,也是一种广泛应用的数仓建模方式,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为维度。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的设计技术。维度建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的设计技术。 上面的解释看起来是比较抽象,一下子可能不是很容易懂。我们先来了解一下事实和维度,基于上面再来分析一下。   事实,表示的

编程代码,数据学习开发的日常总结。欢迎关注VX公众号:张飞的猪 2489

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

数据仓库3-维度建模2

首先里了解维度建模中的事实表类型,在依次介绍维度类型,一致性维度和一致性事实,维度设计方法。接下来进入正题。 一、事实表 事实表存储了从业务活动或事件提炼出来的性能度量,它主要包含维度表的外键和连续变化的可加性数值或半可加事实。事实表产生于业务过程中而不是业务过程的描述性信息。它一般是行多列少,占据数据仓库大约90%的空间。在维度模型中也有表示多对多关系的事实表,其他都是维度表。 1、事实表粒度 事实表的粒度是产生事实行数据的度...

someInNeed的博客 534

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

数据仓库维度建模:缓慢变化维SCD类型3原理与实战版本控制

缓慢变化维度指业务中不经常变化,但会偶尔发生修改的维度数据,如用户修改手机号、商品调整分类、员工更换部门等。SCD类型3:通过在维度表中增加历史版本字段的方式,分别存储当前值 + 上一个历史值,实现简单版本控制。只保留当前版本 + 上一版本,不保留全量历史不新增行,只更新字段适合仅需追溯「上一次状态」的场景SCD类型3 = 一张表、一行数据、两个版本(当前+上一版)结构简单,易开发、易维护不增加行数,表体积小、查询快存储空间最优,无需大量冗余SQL逻辑简单,执行性能高SCD类型3定义:通过。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 4680

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

你真的懂数据仓库建模吗?理论、实践一网打尽

现在行业里,谈起技术都要提下“大数据”、“云计算”等关键词,好像不提都显得技术不够档次似的。然而要“玩”好大数据,数据仓库建模尤其重要。这里从概念、必要性、理论与实践3个方面娓娓道来,和可爱的你一起“懂“点数仓建模~ 概念篇 数据库(database)与数据仓库(data warehouse) 数据库大家比较熟悉了,这里不再赘述。主要来看数据仓库。 数据仓库是面向主题的(Subject-Orie...

weixin_44450457的博客 325

数据仓库系列——3.维度建模概述及案例

概述 数据仓库包含的内容很多,它可以包括架构、建模和方法论。对应到具体工作中的话,它可以包含下面的这些内容: 以Hadoop、Spark、Hive等组建为中心的数据架构体系。 各种数据建模方法,如维度建模。 调度系统、元数据系统、ETL系统、可视化系统这类辅助系统。 我们暂且不管数据仓库的范围到底有多大,在数据仓库体系中,数据模型的核心地位是不可替代的。 因此,下面的将详细地阐述数据建模...

z_xiaozhuT的博客 4237
上一篇: 数据仓库-2.数据维度建模-上
下一篇: 数据仓库-4.ETL过程和ETL工具
泡壶好茶
博客等级 码龄17年 243粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值