hive中拉链表

最新推荐文章于 2024-09-22 20:03:47 发布
原创 最新推荐文章于 2024-09-22 20:03:47 发布 · 1.7k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

拉链表在数据量大且字段变化不频繁但需记录历史状态的场景下使用，能节省空间并满足统计需求。在数仓中通常通过begin_date和end_date字段表示记录的生命周期。本文以Hive为例，介绍了如何创建和更新拉链表，以保持订单状态的历史快照。

在有些情况下，为了保持历史的一些状态，需要用拉链表来做，这样做目的在可以保留所有状态的情况下可以节省空间。

拉链表适用于以下几种情况吧

数据量有点大，表中某些字段有变化，但是呢变化的频率也不是很高，业务需求呢又需要统计这种变化状态，每天全量一份呢，有点不太现实，

不仅浪费了存储空间，有时可能业务统计也有点麻烦，这时，拉链表的作用就提现出来了，既节省空间，又满足了需求。

一般在数仓中通过增加begin_date,en_date来表示，如下例，后两列是start_date和end_date.

1
2
3
4
5
6
7
8
9
10
1  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-20
1  2016-08-20  2016-08-21  支付 2016-08-21  2016-08-21
1  2016-08-20  2016-08-22  完成 2016-08-22  9999-12-31
2  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-20
2  2016-08-20  2016-08-21  完成 2016-08-21  9999-12-31
3  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-21
3  2016-08-20  2016-08-22  支付 2016-08-22  9999-12-31
4  2016-08-21  2016-08-21  创建 2016-08-21  2016-08-21
4  2016-08-21  2016-08-22  支付 2016-08-22  9999-12-31
5  2016-08-22  2016-08-22  创建 2016-08-22  9999-12-31

begin_date表示该条记录的生命周期开始时间，end_date表示该条记录的生命周期结束时间；

end_date = ‘9999-12-31’表示该条记录目前处于有效状态；

如果查询当前所有有效的记录，则select * from order_his where dw_end_date = ‘9999-12-31′

如果查询2016-08-21的历史快照，则select * from order_his where begin_date <= ‘2016-08-21′ and end_date >= ‘2016-08-21’

再简单介绍一下拉链表的更新：

假设以天为维度，以每天的最后一个状态为当天的最终状态。

以一张订单表为例，如下是原始数据，每天的订单状态明细

1
2
3
4
5
6
7
8
9
10
1   2016-08-20  2016-08-20  创建
2   2016-08-20  2016-08-20  创建
3   2016-08-20  2016-08-20  创建
1   2016-08-20  2016-08-21  支付
2   2016-08-20  2016-08-21  完成
4   2016-08-21  2016-08-21  创建
1   2016-08-20  2016-08-22  完成
3   2016-08-20  2016-08-22  支付
4   2016-08-21  2016-08-22  支付
5   2016-08-22  2016-08-22  创建

根据拉链表我们希望得到的是

1
2
3
4
5
6
7
8
9
10
1  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-20
1  2016-08-20  2016-08-21  支付 2016-08-21  2016-08-21
1  2016-08-20  2016-08-22  完成 2016-08-22  9999-12-31
2  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-20
2  2016-08-20  2016-08-21  完成 2016-08-21  9999-12-31
3  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-21
3  2016-08-20  2016-08-22  支付 2016-08-22  9999-12-31
4  2016-08-21  2016-08-21  创建 2016-08-21  2016-08-21
4  2016-08-21  2016-08-22  支付 2016-08-22  9999-12-31
5  2016-08-22  2016-08-22  创建 2016-08-22  9999-12-31

可以看出 1，2，3，4每个订单的状态都有，并且也能统计到当前的有效状态。

本例以hive为例，只考虑到实现，与性能无关

首先创建表

最低0.47元/天 解锁文章
hive的拉链表
暁洣的博客
11-30 938
最近再工作中，经常发现有用到拉链表的场景，经过一系列的学习，大概总结了一下自己对拉链表的了解，可能不是特别到位，后续再做进一步的补充，仅供参考。 名词解释 开链：向表中插入数据的过程 关链：修改结束日期的过程 存量：一段时间内系统保存的数据 增量：一段时间内系统中发生变化的数据 全量：系统中保存的所有的数。 关链时间：拉链表中的数据有效期，一般都会设计的比较大，如：3000.12.31 使用场景 ...
拉链表的设计与实现
Alcaibur的博客
03-09 926
拉链表应用案例
【一篇文章带你搞懂--拉链表！！！拉链表的原理是什么！】
书生的技术分享
07-01 3424
拉链表是针对数据仓库设计中表存储数据的方式而定义的一种数据模型，主要用于记录数据变更历史。定义：拉链表是一种用于记录数据变更历史的表结构，它记录了事物从开始到当前状态的所有变化信息。通过记录数据的创建时间、更新时间等字段，可以方便地查询数据变更历史。结构特点：拉链表中的每个记录通常包含字段如创建时间（create_time）、更新时间（update_time）、数据本身（如order_id、user_id等）以及可能的操作者信息等。
数仓--拉链表（原理、设计以及在Hive中的实现）
热门推荐
qq_46893497的博客
12-06 2万+
什么是拉链表？ 所谓拉链，就是记录历史 记录一个事物从开始，一直到当前状态的所有变化的信息。 我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。 谈到拉链表就不得不谈SCD(缓慢变化维问题) 一些维度表的数据不是静态的,而是会随时间缓慢变化(相对事实表变化速度) 如果,用户修改用户数据,出生年月/地址/… 缓慢变化维怎么解决?(粗看有五种) 保留初始值(不让改) 用户体验不好 改写属性值 用户需要历史数据怎么办 我要分析历史变化数据怎么办 增加维度新行 引出了拉链表 增加维度新列
拉链表 原理 场景
沉默的夏虫
11-20 2511
全文由下面几个部分组成： 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。 举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表（因为现在Hive的大规模使用，我们会以Hive场景下的设计为例）。 分析一下拉链表的优缺点，并对前面的提到的一些内容进行补充说...
hive-拉链表
liuyingying0418的博客
09-22 1398
hive拉链表实践
hive 生成拉链表&拉链表数据查询&拉链表回滚
qq_43192537的博客
03-09 1651
hive 生成拉链表
Hive 之拉链表
JIE的博客 --- moon_coder
11-22 1721
一张存储历史数据的表，记录数据由 “生” 到 “死” 的过程，用于处理缓慢变化维。好处是拉链表可以保存每条数据的所有历史记录，轨迹十分清晰。
hive 拉链表
qq_43192537的博客
08-04 2293
hive 拉链表
数据仓库拉链表
02-14
-- 拉链表介绍 在数据分析中有时会需要维护一些历史状态，比如订单状态变化，评分变化，为了保存下来这些状态变化的路径，可以同过拉链表实现 -- 使用场景 1、数据量比计较大，但业务要求每次需要查询全量历史，每天存储一份全量数据太占用存储空间 2、记录变更不大，比如只有装填和更新时间有变动，其他字段都不变
hive拉链表
一亿年开发经验
02-09 2662
什么是拉链表 拉链表是数据仓库中用来 记录一个事务从开始，一直到当前状态的所有变化的信息表 如下是一张拉链表 这张拉链表中存储的是 用户的基本信息 以及 每条记录的生命周期 我们可以使用这张表拿到当天的最新数据以及之前的历史数据 拉链表使用场景 在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计： 有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超过100G，在HDFS使用双备份或者三备份的就会更大。 表中的部分字段会被upd
Hive---拉链表
大呱的博客
03-07 3159
拉链表
数据仓库之拉链表
HW_870754395的博客
06-03 6566
数据仓库之拉链表一、常用表介绍1. 全量表2. 增量表3. 拉链表4. 流水表5. 拉链表 VS 流水表二. 拉链表适用情况及优点1. 适用情况2. 优点三. 拉链表举例（订单域）1. 订单表结构2. 为实现订单表存储，常用解决方案及存在问题（1）快照表（2）全量历史表==（3）历史拉链表== 一、常用表介绍 1. 全量表 每天的所有的最新状态的数据 2. 增量表 每天的新增数据 3. 拉链表 维...
拉链表的实现过程_拉链表（一）
weixin_42114046的博客
01-19 3394
拉链表（一）拉链表（二）一、前言在把关系型数据库的数据同步到数据仓库时，经常会涉及到拉链表。拉链表有其明显的优势：相比每次全量同步会节省存储空间能够查询到历史快照但是也会有其劣势：拉链表同步逻辑复杂消耗资源多本文主要讲解拉链表如何实现。二、原数据库表结构在讲解拉链表实现之前先规定一下原表的表结构。之后的拉链表数据就是从这个表同步得来。这里的例子是用户表（user），表结构如下用户表的变化过程如下：...
hive中的绣花模型_hive中拉链表
weixin_33665771的博客
12-23 182
在有些情况下，为了保持历史的一些状态，需要用拉链表来做，这样做目的在可以保留所有状态的情况下可以节省空间。拉链表适用于以下几种情况吧数据量有点大，表中某些字段有变化，但是呢变化的频率也不是很高，业务需求呢又需要统计这种变化状态，每天全量一份呢，有点不太现实，不仅浪费了存储空间，有时可能业务统计也有点麻烦，这时，拉链表的作用就提现出来了，既节省空间，又满足了需求。一般在数仓中通过增加begin_da...
Hive 拉链表详解及实例
Byyyi耀的博客
01-22 1141
Hive 拉链表详解及实例
拉链表实现过程
the_dog_so_happy的博客
06-27 2533
详细整理了一份拉链表的具体操作。
拉链表的实现过程
一个技术迷的博客
11-19 9500
拉链表的优势我就不说了，具体请参考百度百科： 拉链表-百度百科 推荐一个比较详细的参考文章： 拉链表示例 主要总结一下实现过程： 分析：拉链表就是用来存储变化的数据的，每一份数据都有对应的有效期，我们需要进行的操作就是将变动的数据进行新增，同时将变动对应的前一条数据的有效期进行变更。 说明：一般都是今天处理昨天的数据，本文所说的当天为所处理的数据的产生的当天。 在这之前需要熟悉一下需要用到的表： 表1：订单表（记录原始的数据） 表2：增量数据表（记录每日变更的数据） 表3：历史拉链表（我们要得到的就是这张表
Hive 中拉链表更新数据时，如何处理数据冲突？
最新发布
10-16
在 Hive 中更新拉链表数据时，处理数据冲突可采用以下方法： ### 主键冲突处理 当新数据与历史数据的主键重复时，需要根据业务需求决定如何处理。 - **覆盖更新**：如果业务要求以最新数据为准，可直接用新数据覆盖旧数据。示例代码如下： ```sql -- 创建临时表 tmp 用于存放合并后的数据 CREATE TABLE tmp AS SELECT CASE WHEN new.id IS NOT NULL THEN new.id ELSE old.id END AS id, CASE WHEN new.name IS NOT NULL THEN new.name ELSE old.name END AS name, -- 其他字段类似处理 CASE WHEN new.start_time IS NOT NULL THEN new.start_time ELSE old.start_time END AS start_time, CASE WHEN new.end_time IS NOT NULL THEN new.end_time ELSE old.end_time END AS end_time FROM dwd.dwd_zip old FULL OUTER JOIN update new ON old.id = new.id; -- 将临时表的数据覆盖到拉链表中 INSERT OVERWRITE TABLE dwd.dwd_zip SELECT * FROM tmp; ``` - **保留历史记录**：若需保留历史记录，可将旧数据的 `end_time` 更新为冲突发生前一刻，新数据的 `end_time` 设为 "9999-12-31"。示例代码如下： ```sql -- 创建临时表 tmp 用于存放合并后的数据 CREATE TABLE tmp AS SELECT old.id, old.name, -- 其他字段 old.start_time, -- 将旧数据的 end_time 更新为冲突发生前一刻 '冲突发生日期' AS end_time FROM dwd.dwd_zip old JOIN update new ON old.id = new.id UNION ALL SELECT new.id, new.name, -- 其他字段 '冲突发生日期' AS start_time, '9999-12-31' AS end_time FROM update new; -- 将临时表的数据覆盖到拉链表中 INSERT OVERWRITE TABLE dwd.dwd_zip SELECT * FROM tmp; ``` ### 业务规则冲突处理 不同业务规则可能导致数据冲突，如数据的状态、权限等。需根据具体业务规则进行处理。 - **优先级判断**：为不同数据来源或数据类型设置优先级，当发生冲突时，优先保留优先级高的数据。示例代码如下： ```sql -- 创建临时表 tmp 用于存放合并后的数据 CREATE TABLE tmp AS SELECT CASE WHEN new.priority > old.priority THEN new.id ELSE old.id END AS id, CASE WHEN new.priority > old.priority THEN new.name ELSE old.name END AS name, -- 其他字段类似处理 CASE WHEN new.priority > old.priority THEN new.start_time ELSE old.start_time END AS start_time, CASE WHEN new.priority > old.priority THEN new.end_time ELSE old.end_time END AS end_time FROM dwd.dwd_zip old FULL OUTER JOIN update new ON old.id = new.id; -- 将临时表的数据覆盖到拉链表中 INSERT OVERWRITE TABLE dwd.dwd_zip SELECT * FROM tmp; ``` - **人工干预**：对于复杂的业务规则冲突，可通过人工审核的方式处理。将冲突数据标记出来，由业务人员根据实际情况决定如何处理。 ### 数据一致性冲突处理 在更新拉链表数据时，可能会出现数据一致性问题，如数据的完整性、准确性等。可通过以下方法处理： - **数据校验**：在更新数据前，对新数据进行校验，确保数据的完整性和准确性。示例代码如下： ```sql -- 创建临时表 valid_update 用于存放校验通过的数据 CREATE TABLE valid_update AS SELECT * FROM update WHERE -- 校验条件，如字段不能为空等 id IS NOT NULL AND name IS NOT NULL; -- 后续处理与正常更新流程相同 ``` - **事务处理**：若 Hive 支持事务，可使用事务来保证数据的一致性。在更新数据时，将相关操作封装在一个事务中，若出现冲突，可回滚事务。但 Hive 的事务支持有一定限制，需根据实际情况使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值