数据治理平台
1)核心功能
数据治理平台作为数据治理的产品体系,旨在保障数据平台的数据是安全、可靠的、标准的、有价值的。
- 数据资产管理:提供面向用户的场景化搜素,提供全景数据资产地图,方便快速查找资产和资产分析
- 数据标准管理:统一定制数据标准,提高包括字段、码值、数据字典管理,保障业务数据和中台数据的统一标准
- 数据质量监控:提供事前、事中、事后的数据质量体系,支持数据质量监控规则配置、告警管理等功能
- 数据安全:提供数据安全脱敏、安全分级和监控
- 数据建模中心:统一建模,提供业务系统建模和模型管理
- 2)元数据管理
元数据管理系统作为数据治理平台的前端展示门户,帮助实现对数据资产的快速检索能力,提高数据使用有效性和效率。
通过建立完整且一致的元数据管理策略,提供集中、统一、规范的元数据信息访问、查询和调用功能。
3)数据质量
- 数据质量监控:支持所有用户进行数据质量监控规则配置
- 规则阻断:配置数据质量监控阻断规则,数据质量出现差异可实时阻断下游作业运行,屏蔽错误结果链路扩散。
- 告警:数据质量出现预设偏差,及时发出预警通知及时修复
-
- 4)数据标准
支持定制统一的数据标准平台,包括字段标准管理,码值标准管理以及字典管理,业务源数据和中台数据统一标准。
5)数据安全
基于集团数据资产实现数据安全分级管理,自动识别安全信息;提供数据访问安全行为监测,及时识别访问风险。
数据治理评估
数据治理平台开发完成并运行,需要对整体数据治理体系的效果进行验证和评估。
1)数据是否可以消除"脏、乱、差"的现象
2)数据资产是否最大价值化
3)所有数据的血缘是否完整可追溯。。。
1)数据资产
- 实现全局搜索,面向用户提供场景化检索服务
- 支持标签、数据地图、表名和字段名等多种检索维度
- 支持进行数据地图,源业务数据字典的结果筛选
- 比如支持PV/UV用户搜索和资产展示,明确服务目标
-
- 2)数据标准
- 新旧数据标准沉淀,打通了数据建模工具、数据标准库和词根标准库,落地数据标准和词根。
- 实现数据标准库100%拉通
- 智能识别数据标准和引用
- 客户端同步更新数据标准、词根
-
- 3)数据安全
- 保持事前制度建设、事中技术管控、事后监控审计的原则建立全流程数据安全管控体系。
基于以上数据安全管控体系,支持数据安全定级,构建灵活的数据安全共享流程。
4)数据质量
通过数据质量雷达图,定期进行数据和任务质量打分,综合考察数据质量效果。
- 数据完整性:查看数据项信息是否全面、完整无缺失
- 告警响应程度:日常管理、应急响应、降低影响;避免数据损毁和丢失
- 监控覆盖程度:确保数据遵循统一的数据标准和规范要求
- 作业稳定性:监控作业稳定性,是否存在作业异常等问题
- 作业时效性:检查任务对应的数据项信息获取是否满足预期要求
-