阿里云-MaxComputer学习+踩坑 第087天 - 数据治理探索

---

前言

经过有条不紊的3个月离线数仓的建设，目前公司离线数仓初步阶段已经完成，离线数据已经接入除财务数据的全部核心数据，模型已经开发完成，数据验证也接近尾声，后续就是常规日常需求支撑及开展实时数仓的建设（实时数仓目前正在技术选型阶段和架构设计阶段，后续细聊实时数仓建设心得），目前需要保障离线数仓数据的产出及准确性，话不多说，下面聊数据治理

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、数据治理是什么？

数据治理是持续改善数仓数据质量和提升数据资产价值的一套方法论，道理大家都懂，每个公司建设的数据治理产品也都不尽相同，总结关键点就是确保四个方面问题，也是数质量保障四准则：数据完整性、数据准确性、数据一致性、数据及时性，这四点控制好了就是非常优秀的数仓实践案例了，可惜没那个公司能真正做到，都是PPT骗骗领导罢了（曾工作过的某大型国企也是天下乌鸦一般黑）

二、平台系统是人管理意识的具象化

1.数据质量管理流程

数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式，说白了就是六个字：事前、事后、事中

2.事后学习改进

在了解保障数据仓库数据质量的方案后，您还需要进一步学习如何制定一套标准度量方案，以及判断质量监控方案是否合适业务需求以及如何改进。
例如，针对每一个数据质量事件，必须分析原因和处理过程，制定后续同类事件预防方案。将严重的数据质量事件升级为故障，并对故障进行定义、等级划分、处理和总结。

---

总结

没有什么完全正确的数据治理方案，合适的就是最好的，就比如我们现在用的阿里云的产品，刚开始还是标准版，我直接给降成了基础版本，在前期数仓没有建设成功时根本不需要这功能那功能的，总共没几个任务还要什么辅助运维的工具，每天上班后打开看一眼就知道了，花什么冤枉钱，要什么自行车？但是现在不一样了数仓建设初见成效，任务也多了起来，运维压力逐渐显现，该上的工具就要上，该要的规范就要遵守，这样数仓才能健康可持续发展，要不然也就是一堆无用数据了，数据部门在公司内部没有了可信度对公司是个灾难