有赞数据治理之提质降本（整理）

有赞数据治理之提质降本

https://mp.weixin.qq.com/s/B6VWtTZT8XI3AiYx6PxLtA

1. 内容质量校验

   • 预定义校验：包括数据量的波动、文件还有组件唯一性的校验等等。
   • 自定义校验：比如说非空校验、数值范围校验、还支持自定义SQL校验。
     质量校验的结果
   • 正常的话，下游任务就可以正常进行；
   • 如果是可接受的异常，这时候会触发邮件和企业微信的报警；
   • 如果是不可接受的异常，结果数据是有问题的，则阻断下游的任务执行以避免数据资源的浪费，同时触发电话报警，通知相关人去处理。

2. 质量分

   • 规范性：比如名字规不规范，注释有没有填，必须的质量检验有没有配。

   • 认可度：要关注数据的使用情况，包括下游依赖情况、搜索、收藏、关注的次数等等。

   • 准确性：就是数据的质量校验是不是经常出错，如果经常出错，这个数据可能就有一些问题，不值得信赖；还有数据的分区是不是连续的，是不是有缺失。

   • 及时性：数据的超时情况，还有deadline临近情况等等。

     这四项定义好，确定分类和细则、定义好权重，通过简单的公式就可以算出一个质量分。

     质量成本，其实是围绕着量化、产品以及运营这三个方面进行的&#x