m0_51063580的博客

0x00 前言本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成：先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。 举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表（因为现在Hive的大规模使用，我们会以Hive场景下的设计为例）。 分析一下拉链表的优缺点，并对前面的提到的一些内容进行补充说明，比如说拉链

一、概念历史拉链表，就是记录一个事务从开始一直到当前状态的所有变化的信息，拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据的一种常见方式。假设企业拥有1000万的会员信息，每天有20万的会员资料变更，我们需要记录所有会议的历史变化记录，并至少保留两年，该怎么办？储存两年就是2x365x1000万=7300000000(70亿)，如果储存更长时间，则无法估算需要的存储。而用拉链表存储，每日只向表中新增和变化的数据量，每日不过20万条，储存2年也...