数据治理备考之数据建模和设计

最新推荐文章于 2025-12-06 10:24:48 发布

原创最新推荐文章于 2025-12-06 10:24:48 发布 · 1.7k 阅读

CC 4.0 BY-SA版权

文章标签：

7 篇文章

订阅专栏

数据建模是发现、分析和确定数据需求的过程，是数据管理的一部分。

数据常用关系模式、多维模式、面向对象模式、事实模式、时间序列模式和NoSQL模式表示，每种模式有3层模型（概念模型、逻辑模型和物理模型）。每种模型需要质量审核、批准和维护。

数据模型对数据管理至关重要，是元数据的一种重要形式。好的数据建模会降低支持成本，增加可复用性，降低构建新应用的成本。

其目的是确认和记录不同视角对数据需求的理解，为数据应用和管理活动奠定基础，其原则包括

数据建模：直接输出是对组织数据的理解

数据模型：描述了组织已经理解或者未来需要的数据，一种文档形式，记录了数据需求和建模过程产生的数据定义。

建模的数据类型：类别信息（分类和分配事物类型）；资源信息（基本数据、资源实体）；业务事件信息（操作过程中创建的数据）；详细交易信息

数据模型组件：实体、关系、属性和域

实体示例，在六种模式和三种模型中表述不同，作为核心元数据，要求清晰、准确、完整

关系是实体之间的关联，体现实体间的交互和约束。体现为关系数据库中的外键、非关系型数据库中通过边界或链接。示例如下

属性：定义、描述或度量实体某方面的性质。体现为列、字段、标记或节点等。

标识符：唯一标识实体实例的一个或多个属性的集合，也称键；单一键、组合键（多个属性集合）、复合键（组合键+其他键）、代理键（系统生成的单一键）；超键，候选键，业务键，主键，备用键。
标识关系与非标识关系：独立实体，非独立实体，标识关系（主键被其他实体用作外键的关系），非标识关系（主键仅被继承为子实体的非主外键属性）

域：某一属性的全部可能取值；有效值，无效值；约束（格式、逻辑规则）；定义方式包括数据类型、数据格式、列表、范围、基于规则

数据建模的方法：关系建模、维度建模、面向对象建模、基于事实建模、基于时间建模和非关系型建模

关系建模：精确地表达业务数据，消除冗余；适合设计操作型的系统
维度建模：优化海量数据的查询和分析。事实表（行对应于特定的数值型度量值，元数据很重要，经验法则其占90%的数据空间），维度表（业务对象，约束的主要来源，经验法则其占10%的数据空间），雪花模型，粒度（事实表中每行的最详细信息），一致性维度（基于整个组织考虑构建，而非项目），一致性事实（跨多个数据集市的标准化术语）。
UML：类模型（实体、属性、操作）
基于事实的建模：
基于时间的数据模型：数据值必须按照时间顺序与特定时间值相关联。数据拱顶（中心表、链接表和卫星表，融合第三范式和星型模型）；锚建模（锚、属性、连接、节点）
非关系型数据库：如何存储数据。文档数据库、键值数据库、列数据库和图数据库。

数据模型级别：概念层次、逻辑层次和物理层次；其中前两个为需求规划和分析活动，物理层次为设计活动

概念数据模型：概要数据需求，仅业务实体和实体之间关系
逻辑数据模型：数据需求的详细描述，不受任何技术或特定实施条件的约束，扩展自概念数据模型
物理数据模型：详细的技术解决方案，与特定技术相关，以逻辑数据模型为基础。常常通过对结构进行组合（逆范式化）来提高检索性能。常包含规范模型（数据流动、接口、消息等）、视图、分区（垂直分割、水平分割）、逆规范化（冗余等，平衡风险和性能）。

规范化：消除冗余或冗余导致的不一致性。第一范式、第二范式、第三范式（3NF）、Boyce / Codd范式（BCNF）、第四范式、第五范式

抽象化：扩展适用性，包括泛化（Generalization）和特化（Specialization），表现为超类和子类。