图解数据仓库之拉链表，超简单！

 

1.背景分析

 在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计：

1. 有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超过100G，在HDFS使用双备份或者三备份的话就更大一些。
2. 表中的部分字段会被update更新操作，如用户联系方式，产品的描述信息，订单的状态等等。
3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态。
4. 表中的记录变化的比例和频率不是很大，比如，总共有10亿的用户，每天新增和发生变化的有200万左右，变化的比例占的很小。

拉链表可以解决上述数据缓慢化场景问题，既能保存历史状态，又能尽量节省空间资源，数仓中某些维度缓慢变化的应用场景可以使用缓慢变化维拉链表。

2.图解拉链表形成过程

1）下图为业务后台数据库中每日的数据变化情况，每天只保留客户最新手机号码。

2）根据最后修改时间字段从业务后台数据库抽取最新被修改数据，形成分区表。

 

3）拉链表的形成过程（重点！！！）