第二章-AllData数据中台-数据治理功能

一、AllData数据治理功能

数据平台的数据治理：数据治理是一个大而全的治理体系。
需要数据质量管理、元数据管理、主数据管理、模型管理管理、数据价值管理、
数据共享管理和数据安全管理等等模块是一个活的有机体。

1、数据质量: 依托Griffin平台，为您提供全链路的数据质量方案，
包括数据探查、对比、质量监控、SQL扫描和智能报警等功能：

开源方案： Apache Griffin + ES + SparkSql

2、元数据: 描述数据的数据，对数据及信息资源的描述性信息，
例如字段元数据描述字段的类型、长度、默认值。 
发布：指将某一元数据发布为数据资产的动作。
数据资产是指可以对外提供服务并且产生价值的数据。
表/字段血缘：即表/字段的来龙去脉，
主要包含表/字段的来源、加工方式、映射关系及数据出口。
血缘是元数据的一部分，有利于数据变更影响分析以及数据问题排查。

开源方案： Apache Atlas + ES + Hbase + JanusGraph + Hive + Kafka

3、数据标准: 参考阿里的DataWorks，
数据标准是用于描述公司层面需共同遵守的数据含义和业务规则，
它描述了公司层面对某个数据的共同理解，
这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。
数据标准，也称数据元，由一组属性规定其定义、标识、表示和允许值的数据单元，
是不可再分的最小数据单元。您可以将数据标准关联到各个业务上的数据库中。
其中，标识符、数据类型、表示格式、值域是数据交换的基础，
它们用于描述表的字段元信息，规范字段所存储的数据信息。

暂无事实性标准的开源方案：Mysql + SpringBoot