数据仓库之拉链表

最新推荐文章于 2024-08-22 17:03:45 发布

小码良

最新推荐文章于 2024-08-22 17:03:45 发布

阅读量645

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库 Hive 文章标签： hive拉链表

本文链接：https://blog.youkuaiyun.com/zll_1234/article/details/97099407

本文介绍了拉链表的概念及其在数据仓库中的应用场景。通过多个参考资料，详细阐述了如何设计和实现Hive中的拉链表，包括数据准备、数据说明和具体步骤。文章以订单状态变化为例，展示了在天级别分区下如何生成拉链表，并提供了初始化分区和查询的方法。

参考资料：
http://cxy7.com/articles/2018/05/25/1527237216341.html
http://cxy7.com/articles/2017/09/15/1505474223814.html#b3_solo_h2_2
http://www.aboutyun.com/thread-12831-1-1.html

什么是拉链表？

    拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，
就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。在数据分析中，
有时会需要维护一些历史状态，比如订单状态变化、评分变化等，为了保存下来这些状态
变化的路径，可以通过拉链表实现

使用场景

1、表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压
缩，单张表的存储也会超过100G，在HDFS使用双备份或者三备份的话就会更大
2、表中的部分字段会被update更新操作，如用户联系方式，产品的描述信息，订单的状态等
3、需要查看某一时间点或者时间段的历史快照信息，比如，查看某一个订单在 历史某一个时间点的
状态
4、表中的记录变化的比例和频率不是很大，比如，总共有10亿的用户，每天新增和发生变化的有
200万左右，变化的比例占的很小

如何设计这种表，下面有几种可选的方案

方案一：每天只保留最新的一份，比如我们每天用sqoop抽取最新的一份全量数据到hive
方案二：每天保留一份全量的切片数据
方案三：使用拉链表

为什么使用拉链表
方案一：
方式：每天drop掉前一天的数据，重新抽一份最新的。
优点：节省空间，一些普通的使用也很方便，不用在选择表的时候加一个时间分区什么的。
缺点：没有历史数据，先翻翻旧账只能通过其它方式，比如从流水表里面抽。

方案二：
方式：每天一份全量的切片
优点：比较稳妥，而且历史数据也在
缺点：存储空间占有量太大，如果每天都保留一份全量，那么每次