数据仓库 - 拉链表开发实践

一、什么是拉链表

拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。

二、拉链表开发

案例：客户数据拉链表

2x01 表设计

表	存储介质
T_CUSTOMER	MySQL
ODS_T_CUSTOMER	HIVE
TMP_CUSTOMER	MPP
DIM_CUSTOMER	MPP

操作系统数据表：T_CUSTOMER

字段	类型	备注
cid	int	主键
name	varchar
phone_number	varchar
create_date	date
update_date	date

 

ODS数据表：ODS_T_CUSTOMER (全量记录操作系统数据表的历史快照)

字段	类型	备注
cid	int
name	varchar
phone_number	varchar
create_date	date
update_date	date
sync_date	date	同步日期

临时数据表：TMP_CUSTOMER

** 根据ODS_T_CUSTOMER的sync_date字段抽取全量最新数据（包括新增，修改的数据）

字段	类型	备注
cid	int	主键
name	varchar
phone_number	varchar
create_date	date
upda