数据治理实践——腾讯欧拉平台数据血缘架构及应用

目录

一、背景和目标

1.1 数据平台​编辑

1.2 为什么要做数据血缘

1.3 目标和现状

二、项目架构

2.1 项目架构选型

2.2 项目架构图

三、模块化建设

3.1 统一实体UID规范

3.2 血缘边的建设

3.3 SQL解析框架

3.4 图算法库

3.5 全链路血缘数据质量

3.6 统一血缘服务

四、应用

4.1 数据治理

4.2 全链路血缘成本洞察

4.3 全链路成本血缘洞察

4.4 全链路成本血缘洞察

五、FAQ

---

   原文大佬介绍的这篇数据血缘架构设计及应用有借鉴意义，现摘抄下来用作沉淀学习。如有侵权，请告知~

一、背景和目标

1.1 数据平台

   腾讯欧拉数据平台，是一款基于DataOps理念，实现生产即治理的一站式数据平台，主要包括三个子产品：

• 资产工厂：负责整体的数仓建设，数仓模型的开发；
• 欧拉的治理引擎：负责全链路成本的数据治理；
• 数据发现：负责元数据的管理；

数据血缘是欧拉的一个子模块，直接服务于以上三个子产品，也是本次分享的主题。

1.2 为什么要做数据血缘