数据标准管理

• 一、数据标准是什么

数据标准化是指研究、制定和推广应用统一的数据分级分类、记录格式及转换、编码等技术标准的过程。——维基百科

数据标准是一套有管理制度、管控流程、技术工具共同组成的体系，是通过这套体系的推广，应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化，数据标准管理是数据资产管理的核心活动之一，对于企业提升数据质量、厘清数据构成、打通数据孤岛、加速数据流通、释放数据价值有着至关重要的作用。

 

• 二、数据标准分类

数据标准是进行数据标准化、消除数据业务歧义的主要参考和依据。对数据标准进行分类，将有利于数据标准编制、查询、落地和维护。

数据标准管辖的数据，通常只需要在各业务条线、各信息系统之间实现共享和交换的数据，用以满足监管机构、上级主管部门、各级政府部门的数据报送要求而需要的数据。

在基础类数据标准和指标类数据这个框架下，可以根据各自的业务主题进行细分。细分时应尽可能做到涵盖企业的主要业务活动，且涵盖生产系统中产生的所有业务数据。

• 1、基础类数据

基础类数据指业务流程中直接产生的、未经过加工和处理的基础业务信息。基础类数据标准是为了统一企业所有业务活动相关数据的一致性和准确性，解决业务间数据一致性和数据整合，按照数据标准管理过程制定的数据标准。

• 2、指标类数据

指标类数据是指具备统计意义的基础类数据，通常由一个或以上的基础数据根据一定的统计规则计算而得到的。指标类数据标准一般分为基础指标和计算指标（又称组合指标）。基础指标具有特定业务和经济含义，且仅能通过基础类数据加工获得，计算类指标通常由两个以上基础指标计算得出。

• 三、企业数据标准的梳理

企业数据标准的实施，要根据业界经验和企业实际情况确定实施范围，并根据优先级和难易程度制定计划，需要从企业业务域、业务活动、对象实体、实体关系等方面层层递进，逐步展开，企业数据标准的梳理。

企业数据标准梳理一般需要以下步骤：

 

• 1、L0:步骤一

对企业业务域的定义，并对每个业务域中的业务活动进行梳理，同时需要收集各业务单据、用户视图，梳理每个单据和用户视图的数据对象。

• 2、L1:步骤二

针对每个数据对象的分析，明确每个数据实体包含的数据项，同时，梳理并确定出该业务域中所涉及的数据指标和指标项。分析并定义每个数据实体或指标的数据标准。包括：数据项的名称、编码、类型、长度、业务含义、数据来源、质量规则、安全级别、域值范围、管理部门等。    

• 3、L2:步骤二

梳理和明确所有数据实体、数据指标的关联关系，并对数据之间的关系进行标准化定义。数据关系也是数据标准管理的内容。

• 4、L3:步骤三

通过以上梳理、分析和定义，确定出主数据标准管理的范围。

 

数据标准梳理和建设的方法并不难掌握，关键是建设过程中需要收集并整理大量的业务规范、制度章程、法律法规、监管规定、国家标准，并将这些规定具象到数据标准定义的信息项中。对于一个从未做过数据标准的实施团队而言，这将意味着巨大的工作量。

• 四、数据标准管理组织

数据标准管理是企业数据治理的一部分，数据标准管理是一个涉及范围广、业务复杂、数据繁杂的工程。数据标准管理的实施绝非是一个部门的事情，不能在企业的单一部门得到解决。需要从整个组织考虑，建立专业的数据治理组织体系，制定企业数据战略和实施路线图，明确各阶段数据标准工作的目标和内容，并监督及考核数据标准的贯彻与执行。

数据标准管理组织或数据治理组织从职能划分上可以分为三层，如下图所示：

 

1、数据标准管理委员会，即数据治理的决策层，主要负责制定企业数据战略、把控数据治理的总体策略，审查数据标准的贯彻执行情况。

2、数据标准管理办公室，是数据治理的经营管理层，主要负责企业数据标准的制定、审查数据质量，贯彻数据标准落地。

3、数据标准执行层或业务操作层，主要负责数据标准的贯彻执行，并为数据标准的编制和优化提供数据和意见。

• 五、数据标准设计流程

数据标准的设计从需求发起到落地执行，一般需要经过标准编制、标准审查、标准发布、标准贯彻四个阶段：

 

• 1、数据标准编制

数据标准管理办公室根据数据需求开展数据标准的编制工作，确定数据数据项，数据标准管理执行组根据所需数据项提供数据属性信息，例如：数据项的名称、编码、类型、长度、业务含义、数据来源、质量规则、安全级别、域值范围等。数据标准管理办公室参照国际、国家或行业标准对这些数据项进行标准化定义并提交审核。注：如没有参考标准，则数据标准管理办公室可根据企业情况制定相应的企业级数据标准。

• 2. 数据标准审查

数据标准管理委员会对数据标准初稿进行审查，判断数据标准是否符合企业的应用和管理需求，是否符合企业数据战略要求。如数据标准审查不通过，则有数据标准管理办公室进行修订，直到满足企业数据标准的发布要求。

• 3. 数据标准发布

数据标准审查通过后，由数据标准管理办公室面向全公司进行数据标准的发布。该过程数据标准管理执行组需要配合进行数据标准发布对现有应用系统、数据模型的影响评估，并做好相应的应对策略。

• 4. 数据标准贯彻

把已定义的数据标准与业务系统、应用和服务进行映射，标明标准和现状的关系以及可能影响到的应用。该过程中，对于企业新建的系统应当直接应用定义好的数据标准，对于旧系统应对一般建议建了相应的数据映射关系，进行数据转换，逐步进行数据标准的落地。

企业进行数据标准化时，除了对数据本身标准化规则构建外，相当大一部分需要考虑标准化流程的管理。而在管理过程中必然会涉及到新旧系统、不同部门、不同业务的冲突，这些冲突如果解决不好将会直接导致标准化的失败。所以，数据标准落地过程要充分做好影响评估和各干系方的沟通。

六、数据标准管理价值总结

一个数据一般有业务属性、技术属性和管理属性组成，例如：数据项的业务定义、业务规则、质量规则为该数据的业务属性；数据项的名称、编码、类型、长度等为该数据的技术属性；数据的存储位置、管理部门、管理人员为该数据的管理属性。而数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。

数据标准目标是为业务、技术和管理提供服务和支持

 

1、业务方面

通过对实体数据的标准化定义，解决数据不一致、不完整、不准确等问题，消除数据的二义性，使得数据在企业有一个全局的定义，减少了各部门、各系统的沟通成本，提升企业业务处理的效率；标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。

2、技术方面

统一标准的数据及数据结构是企业信息共享的基础；标准的数据模型和标准数据元为新建系统提供支撑，提升应用系统的开发实施效率；数据标准化清晰定义数据质量规则、数据的来源和去向、校验规则，提升数据质量。

3、管理方面

通过数据的标准化定义，明确数据的责任主体，为数据安全、数据质量提供保障；统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理和分析效率，提供业务指标的事前提示、事中预警、事后提醒，实现数据驱动管理，让领导能够第一时间获取决策信息。

4、数据标准与主数据、元数据、数据质量的关系

 

数据治理项目的根本诉求在于提升数据质量

5、数据标准与主数据的关系

从范围上看，数据标准包括数据模型标准、主数据标准、参照数据标准、数据指标标准和其他数据标准、主数据是数据标准的一个子集；从数据梳理和识别、能力成熟度评估、数据标准编制、数据管理和应用、数据管理系统建设、实施涉及的业务方面等，数据标准和主数据都是基本相同，企业在数据治理项目中，有整体建设的，包含了：元数据、主数据、数据标准等领域；也有分开建设的，例如：主数据项目单独立项，数据标准管理和数据仓库放在一起实施；企业应根据自身的实际情况和需求，明确实施范围和内容，制定适合企业发展需要的数据治理路线图。

1. 数据标准与元数据的关系

元数据是数据标准的基础，企业在制定数据标准的时候最先需要明确的就是数据业务属性、技术属性和管理属性，而这三类属性就是我们所说的业务元数据、技术元数据和管理元数据。基于元数据的数据标准管理，为业务实体的定义、关系和业务规则到IT实现之间提供清晰、标准的语义转换，提高业务和IT之间的一致性，保障IT系统能够真实反映业务事实。并为数据标准系统与其他业务系统的集成，提供有关数据标准、数据映射关系和数据规则的描述，为业务系统的集成提供支撑。

1. 数据标准与数据质量的关系

没有标准化就没有信息化，那就更谈不上数据质量了。通过对数据标准的统一定义，明确数据的归口部门和责任主体，为企业的数据质量和数据安全提供了一个基础的保障。通过对数据实体、数据关系以及数据处理阶段，定义统一的标准、数据映射关系和数据质量规则，使得数据的质量校验有据可依，有法可循，为企业数据质量的提升和优化提供支持。