中通科技数仓数据治理实践

目录

一、背景

1.1 中通数仓架构介绍

1.2 中通数仓层级划分

1.3 中通数据现状

1.4 中通数仓现面临的压力

二、数据仓库具体实践

2.1 时效治理

2.1.1 数据入仓治理

2.1.2 核心模型治理

2.2 存储治理

2.3 内存治理

2.3.1 内存浪费治理

2.3.2 数据倾斜治理

2.3.3 内存不足治理

2.4 指标治理

2.4.1 定义标准

2.4.2 具体执行

2.4.3 推广与使用

三、未来规划

---

   原文大佬介绍的这篇数仓数据治理实践有借鉴意义，现摘抄下来作沉淀学习。如有侵权请告知~

一、背景

1.1 中通数仓架构介绍

   中通数据仓库目前是介于业务系统和数据平台之上，数据应用之下的组件，通过中通的大数据开发工具，构建了覆盖全公司所有业务线的数据仓库，支撑了中通庞大的数据应用，如驾驶舱、C端、智能仲裁等业务系统的数据应用功能，直接为一线业务赋能。

1.2 中通数仓层级划分

• ODS层：数据引入层ODS(Operation Data Store)，存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数