阿里巴巴大数据之路-大数据领域建模综述

村口蹲点的阿三

已于 2024-10-16 09:48:20 修改

阅读量771

点赞数

分类专栏：数据仓库文章标签：知识图谱数据库数据仓库大数据 hadoop

于 2021-10-01 16:07:15 首次发布

本文链接：https://blog.youkuaiyun.com/liuya19921123/article/details/120578351

版权

5 篇文章

订阅专栏

阿里巴巴大数据之道-大数据领域建模综述

简述
- 数据仓库之父 Bill lnmon 提出的建模方法是从全企业的高度设计一个 3NF 模型，用实体关系（ Entity Relationship, ER）模型描述企业业务，在范式理论上符合 3NF。数据仓库中的 3NF 与 OLTP 系统中的 3NF 的区别在于，它是站在企业角度面向主题的抽象，而不是针对某个具体业务流程的实体对象关系的抽象。
特点
- 需要全面了解企业业务和数据。
- 实施周期非常长。
- 对建模人员的能力要求非常高。
建模步骤
- 高层模型
  - 一个高度抽象的模型，描述主要的主题以及主题间的关系，用于描述企业的业务总体概况。
- 中层模型
  - 在高层模型的基础上，细化主题的数据项。
- 物理模型（也叫底层模型）
  - 在中层模型的基础上，考虑物理存储，同时基于性能和平台特点进行物理属性的设计，也可能做一些表的合并、分区的设计等。

简述
- 维度模型是数据仓库领域的 Ralph Kimball 大师所倡导的，他的 The Data 阳rehouse 岛olkit-The Complete Guide to Dimensional Modeling 是数据仓库工程领域最流行的数据仓库建模的经典。
特点
- 从分析决策的需求出发构建模型，为分析需求服务
- 具有较好的大规模复杂查询的响应性能
- 其典型的代表是星形模型，以及在一些特殊场景下使用的雪花模型
模型分类
- 雪花模型
- 星型模型
- 星座模型
建模步骤
- 选择需要进行分析决策的业务过程
  - 业务过程可以是单个业务事件，比如交易的支付、退款等；也可以是某个事件的状态，比如当前的账户余额等；还可以是一系列相关业务事件组成的业务流程，具体需要看我们分析的是某些事件发生情况，还是当前状态，或是事件流转效率。
- 选择粒度
  - 在事件分析中，我们要预判所有分析需要细分的程度，从而决定选择的粒度。粒度是维度的一个组合。
- 识别维表
  - 选择好粒度之后，就需要基于此粒度设计维表，包括维度属性，用于分析时进行分组和筛选。
- 选择事实
  - 确定分析需要衡量的指标。

简述
- Data Vault 是 Dan Linstedt 发起创建的一种模型，它是 ER 模型的衍生，其设计的出发点也是为了实现数据的整合，但不能直接用于数据分析决策。
特点
- 可审计的基础数据层
- 数据的历史性、可追溯性和原子
- 而不要求对数据进行过度的一致性处理和整合
- 基于主题概念将企业数据进行结构化组织
组成部分
- Hub
  - 是企业的核心业务实体，由实体 key、数据仓库序列代理键、装载时间、数据来源组成。
- Link
  - 代表 Hub 之间的关系。这里与 ER 模型最大的区别是将关系作为一个独立的单元抽象，可以提升模型的扩展性。它可以直接描述 1 : 1 、 l :n 和 n:n 的关系，而不需要做任何变更。它由 Hub 的代理键、装载时间、数据来源组成。
- Satellite
  - 是 Hub 的详细描述内容，一个 Hub 可以有多个 Satellite。它由 Hub 的代理键、装载时间、来源类型、详细的 Hub 描述信息组成。
模型实例

简介
- Anchor 对 Data Vault 模型做了进一步规范化处理， Lars. Ri:innback 的初衷是设计一个高度可扩展的模型，其核心思想是所有的扩展只是添加而不是修改，因此将模型规范到 6NF，基本变成了 k-v 结构化模型。
组成部分
- Anchors
  - 类似于 Data Vault 的 Hub ，代表业务实体，且只有主键。
- Attributes
  - 功能类似于 Data Vault 的 Satellite ，但是它更加规范化，将其全部 k-v 结构化，一个表只有一个 Anchors 的属性描述。
- Ties
  - 就是 Anchors 之间的关系，单独用表来描述，类似于 Data Vault 的 Link，可以提升整体模型关系的扩展能力。
- Knots
  - 代表那些可能会在多个 Anchors 中公用的属性的提炼，比如性别、状态等这种枚举类型且被公用的属性。
模型实例