数据仓库维度模型设计

本文介绍了数据仓库中的维度建模,包括星型、雪花和星座模式,强调了分层架构的重要性,如ODS、DW和ADS层,并详细阐述了阿里巴巴的数据仓库分层实践。此外,还讨论了缓慢变化维(SCD)问题,提供了多种解决方案,如拉链表方法,以保持数据的历史状态。

1.维度建模基本概念

维度建模的作用:维度建模以分析决策的需求出发构建模型, 为分析需求服务, 它重点解决用户如何更快速完成分析需求

维度建模是专门应用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。

事实表:发生在现实世界中的操作型事件,其所产生的可度量数值,存储在事实表中,可以理解他就是在现实中发生的一次操作型事件。

事实表的特征表里没有存放实际的内容,他是一堆主键的集合,这些ID分别能对应到维度表中的一条记录。

维度表:维度表示要对数据进行分析时所用的一个量。
每个维度表都包含单一的主键列。维度表的主键可以作为与之关联的任何事实表的外键,当然,维度表行的描述环境应与事实表行完全对应。

数据仓库的主导功能就是面向分析,以查询为主,不涉及数据更新操作。
事实表的设计是以能够正确记录历史信息为准则。
维度表的设计是以能够以合适的角度来聚合主题内容为准则。

2.维度建模的三种模式

第一种:星型模式
星型模式是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样。
星形模式的维度建模由一个事实表和一组维表成

第二种:雪花模式
雪花模式的维度表可以拥有其他维度表

第三种:星座模式
星座模式是基于多张事实表的,而且共享维度信息。很多时候维度空间内的事实表不止一个,而一个维度表也可能被多个事实表用到。

数仓分层分层架构

主要分为三层:

数据运营层(ODS)
Operate data store(操作数据-存储),是最接近数据

要想在百度八亿网页的数据海洋中找到你所要的信息, 人工方式需要1200 多人年,而百度搜索技术不到1 秒钟。人 们被数据淹没,却渴望知识。商务智能技术已成为当今企业 获取竞争优势的源泉之一。商务智能通常被理解为将企业中 现有的数据转化为知识,帮助企业做出明智决策的IT工具集。 其中数据仓库、OLAP和数据挖掘技术是商务智能的重要组成 部分。商务智能的关键在于如何从众多来自不同企业运作系 统的数据中,提取有用数据,进行清理以保证数据的正确性, 然后经过抽取、转换、装载合并到一个企业级的数据仓库里, 从而得到企业数据的一个全局视图,并在此基础上利用适当 的查询分析、数据挖掘、OLAP等技术工具对其进行分析处理, 最终将知识呈现给管理者,为管理者的决策过程提供支持。 可见,数据仓库技术是商业智能系统的基础,在智能系统开 发过程中,星型模式设计又是数据仓库设计的基本概念之一。 星型模式是由位于中央的事实和环绕在四周的维度 组成的,事实中的每一行与每个维度的多行建立关系, 查询结果是通过将一个或者多个维度与事实结合之后产 生的,因此每一个维度和事实都有一个“一对多”的连 接关系,维度的主键是事实中的外键。随着企业交易量 的越来越多,星型模式中的事实数据记录行数会不断增加, 而且交易数据一旦生成历史是不能改变的,即便不得不变动, 如对发现以前的错误数字做修改,这些修改后的数据也会作 为一行新纪录添加到事实中。与事实总是不断增加记录 的行数不同,维度的变化不仅是增加记录的行数,而且据 需求不同维度属性本身也会发生变化。本文着重讨论数据 仓库维度的变化类型及其更新技术。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值