摘录：数据治理【仅作了解】

摘录：数据治理【仅作了解】

基本概念

什么是数据治理?

答：又叫”数据管控”。引用《DAMA 数据管理知识体系指南》一书给出的定义：数据治理是对数据资产管理行使权力和控制的活动集合（规划、监控和执行）。数据治理职能指导其他数据管理职能如何执行。

数据元：通过名称、格式、长度、定义值域等一系列属性描述的数据单元。

代码集：数据元的取值范围。

数据元类目：按照标准规范对数据元进行分类。

元数据：对数据资源的描述性信息（数据的数据）。例如数据表的字段就是描述这些数据表中数据的元数据。

元模型：定义各种元数据的结构以及元数据间的关系。

概述

元数据（Metadata） 使得用户可以掌握数据的历史情况，如数据从哪里来？流通时间有多长？更新频率是多大？数据元素的含义是什么？对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下，在瞬间万变的商业环境下，元数据可以更好的支持需求的变化，降低项目风险。

元数据按照适用场景可有以下两种区分：

• 技术元数据—-从开发的角度描述的元数据，应用于开发、管理和维护数据治理平台。
• 业务元数据—-从业务的角度描述的元数据，提供良好的语义层定义，更便于业务人员理解。

元数据贯彻于建立数据仓库的全过程，不仅仅只是TL过程。

元数据标准 不统一，各厂商、各软件采用不同的元数据标准。业界需要统一的标准，以便各个软件系统之间可以相互交换元数据。CWG 1.0 (Common Warehouse Metamodel Version 1.0) 就是一种，其定义一个描述数据源、数据目的、转换、分析的元数据框架，以及定义建立和管理数据仓库的过程和操作，提供使用信息的继承。目前宣布支持CWM的厂商包括：IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。

CWM基于3个工业标准：

• UML - Unified Modeling Language，OMG建模标准；
• MOF - Meta Object Facility，OMG建立元模型和模型库的标准，提供在异构环境下的数据交换的接口；
• XMI - XML Metadata Interchange，OMG元数据交换标准。

数据分类

对每类数据进行治理时，关注点、方法以及效果都不同，需要区别对待。

数据分类	描述
主数据（Master Data）	关于业务实体的数据
事务数据（Transactional Data）	业务运营过程中的内部或者外部事件或者交易记录
参考数据（Reference Data）	用于将其他数据进行分类或者目录整编的数据
元数据（Metadata）	描述数据的数据
统计分析数据（Analytical Data）	指对企业业务活动进行统计分析的数据

主数据 关注的是”人”和”物”，主数据管理是数据治理领域一个专门的话题，其主要目的是对关键业务实体（如员工、客户、产品、供应商等）建立统一视图，让客观世界里本是同一个人或物，在数据世界里也能做到唯一识别，而不是在不同系统、不同业务中成为不同的人或物。

事务数据 关注的是”事”，事务数据没有形成单独的数据治理领域，由于事务数据是BI分析的基础，因此往往在数据质量管理中重点关注。

参考数据 是更细粒度的数据，是对”人”“事”“物”的某些属性进行规范性描述的，对参考数据的管理一般会与主数据管理同时进行，或与BI数据质量管理同时进行，因为指标维度和维值直接影响到BI数据质量。

元数据 是一个包罗万象的概念，其本质是为数据提供描述，所以任何数据都有元数据。数据治理领域的元数据，更多是指BI、数据仓库这个范畴内的元数据（国际上有Common Warehouse Meta-model规范），此外还有信息资源管理的元数据（如Dublin core协议）、地理信息元数据、气象元数据等等。正因为如此广泛，也造成了从业者对其有极高的预期以及实践后的极大失落。

现在极少谈”元数据”，而是谈”数据定义”，谈数据必谈定义，但却又不将其作为专门一类数据来管理，在数据治理领域单独做元数据管理，收效甚微。 主要原因有两点：

1. 数据生产与数据管理脱节，元数据管理更多是在数据生产的事后进行元数据收集和应用展现，对数据生产起到的管控作用极小；
2. 工具自身问题：虽然很多工具都号称支持CWM规范，但元数据自动获取始终是技术难题，而且对于存储过程、自定义脚本很难自动解析和获取，就无法准确、完整展现细节的数据处理过程。

统计分析数据 ，目前BI系统建设的主要作用就是做各种指标和报表的计算和展示。统计分析数据往往是数据治理的重点，统计分析数据的数据流分析、统计分析数据的数值的波动性、平衡性监控，几乎是各个企业做数据治理的必备应用。