数据中台之数据开发

一. 简介

二. 核心

DataWarehouse/LakeHouse

Delta/Hudi/Iceberg/Kudu

1. 分层规范

ODS（原始数据层）：也被称为贴源层，ODS层是数据仓库准备区，为DWD层提供基础原始数据。
DWD（明细数据层）：和ODS粒度一致的明细数据，对数据进行去重，脏数据过滤，空处理，保证数据质量。
DWS（服务数据层）：轻度汇总数据及建宽表(按主题)存放数据。
ADS（应用数据层）：存放应用类表数据。
ODS - DW（轻度数据汇总层、高度数据汇总层） - DM（数据集市）

2. 表规范

维表 命名形式：dim_描述
事实表 命名形式：fact_描述_[AB]
临时表 命名形式：tmp_ 正式表名_ [C自定义序号]
宽表 命名形式：dws_主题_描述_[AB]
备份表 命名形式：正式表名_bak_yyyymmdd

表命名解释：
1）表名使用英文小写字母，单词之间用下划线分开，长度不超过40个字符，命名一般控制在小于等于6级。
2）其中ABC第一位"A"时间粒度：使用"c"代表当前数据，"h"代表小时数据，"d"代表天数据，"w"代表周数据，"m"代表月数据，"q"代表季度数据， "y"代表年数据。
3）其中ABC的第二位"B"表示对象属性，用"t"表示表，用"v"表示视图。
4）其中ABC的第三位"C"自定义序号用于标识多个临时表的跑数顺序。