数仓之拉链表实现原理

最新推荐文章于 2024-07-10 15:27:46 发布
原创 最新推荐文章于 2024-07-10 15:27:46 发布 · 4.7k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #spark #大数据

拉链表是一种在数据仓库中用于记录数据状态变化的技术，它通过保存每个记录的状态开始和结束时间来节省存储空间。当数据发生少量变化时，拉链表能反映这些变化。制作拉链表涉及将变化数据与原表合并，通过更新状态结束时间来跟踪记录的生命周期。这种方法适用于数据大部分不变但需保留历史状态的情况。

一、拉链表是什么？

数仓建立过程中，在有些情况下，为了保持历史的一些状态，需要用拉链表来做，这样做目的在可以保留所有状态的情况下可以节省空间。
拉链表，是记录每条记录的生命周期，通常记录中需要一个状态变化来展示，如果一个状态结束，那么就重新开始一条记录
所以，拉链表原始记录需要：
1.记录需要有 状态变化
2.记录需要有创建时间和操作时间
拉链表需要新增两个字段：状态开始时间和状态结束时间

二、适用范围

拉链表适用于，数据会发生变化，但是大部分是不变的(实际是以运算换取存储空间）
拉链表反应的是数据的变化

三、制作流程

1.图示形成过程

在这里插入图片描述

2.制作过程

建立拉链表
在这里插入图片描述

使用第一天的数据初始化拉链表
在这里插入图片描述
建立临时拉链表
在这里插入图片描述

把变化的数据和拉链表做一个计算和union

最低0.47元/天 解锁文章
数仓学习——拉链表原理
hetry_liang的博客
11-13 2561
一、拉链表原理 1、引入 在数据仓库的数据模型设计过程中，经常会遇到这样的需求： （1）数据量比较大。 （2）表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等。 （3）需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态。 （4）查看某一个用户在过去某一段时间内，更新过几次等等。 （5）变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右。 （6）如果对这边表每天都保留一份全量，那么每次全量中会保存很多不
拉链表详解
Xiayebuliang的博客
03-05 1万+
拉链表数据生成的思路是：ods更新或者新增的数据 + union +dwd拉链表历史数据（要更改历史数据中状态发生改变的字段）。设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据（SCD2）的一种常见方式。拉链表是维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。
三、数据仓库实践-拉链表设计
潜行者
05-23 3058
由此带来了大量的存储、计算资源的开销，并且随着该表的持续膨胀，里边数据也没有清退机制，快照会越滚越大，而且还清贷款的数据，所有属性状态是不会再变动的。该场景，我们的数据起止日期（t_start_date、t_end_date）就不适用了，因为理论上，商品价格一天可能会变更多次，必须改成数据起止时间（t_start_time、t_end_time），由此带来的数据处理逻辑的变化，上边 4.4 增量更新的处理逻辑就不适用了，必须改用 4.3 历史数据初始化方式了。奥，看了好久，下边 SQL 的数据止期有问题。
数仓--拉链表（原理、设计以及在Hive中的实现）
热门推荐
qq_46893497的博客
12-06 2万+
什么是拉链表？ 所谓拉链，就是记录历史 记录一个事物从开始，一直到当前状态的所有变化的信息。 我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。 谈到拉链表就不得不谈SCD(缓慢变化维问题) 一些维度表的数据不是静态的,而是会随时间缓慢变化(相对事实表变化速度) 如果,用户修改用户数据,出生年月/地址/… 缓慢变化维怎么解决?(粗看有五种) 保留初始值(不让改) 用户体验不好 改写属性值 用户需要历史数据怎么办 我要分析历史变化数据怎么办 增加维度新行 引出了拉链表 增加维度新列
拉链表的原理及简单实现
Andy_shenzl的博客
05-20 5239
拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。 比如下面的表： user_id name level start_time end_time 1 甲 A 2020-05-01 9999-12-31 2 乙 B 2020-05-01 2020-05-02 2 乙 A 2020-05-02 9999-12-31 3 丙 B 2020-05-02 9999-12-31 上面就是一个简单的拉链
【一篇文章带你搞懂--拉链表！！！拉链表的原理是什么！】
书生的技术分享
07-01 3355
拉链表是针对数据仓库设计中表存储数据的方式而定义的一种数据模型，主要用于记录数据变更历史。定义：拉链表是一种用于记录数据变更历史的表结构，它记录了事物从开始到当前状态的所有变化信息。通过记录数据的创建时间、更新时间等字段，可以方便地查询数据变更历史。结构特点：拉链表中的每个记录通常包含字段如创建时间（create_time）、更新时间（update_time）、数据本身（如order_id、user_id等）以及可能的操作者信息等。
数仓拉链表（原理、设计思路及在FDL中的实现）
最新发布
oOBubbleX的博客
07-10 1829
本文旨在介绍数仓拉链表的原理、作用、实现思路和方法。
oracle拉链表实现原理,数据仓库-拉链表+增量表抽取的实现
weixin_29015801的博客
04-03 1392
背景：业务部门提了用户分层的需求，其中有一点，业务放需要我们数仓提供历史数据，并且业务库里的部分表还没有数据更新时间字段。所以本篇文章主要解决两个问题1：问题一 怎么再HIVE里实现拉链表2：问题二 怎么再没有数据更新时间字段的情况下获取增量数据(个人认为这个方式也是一种通用的方式)一：拉链表是什么？使用场景？实现原理？1：是什么？ 拉链表是一张记录事务历史变化的表，记录一个事务从开始到当前发生...
数据仓库数据模型之：极限存储--历史拉链表
iteye_2280的博客
08-15 2664
在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 1. 数据量比较大;2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，   比如，查看某一个用户在过去某一段时间内，更新过几次等等;4. 变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变...
拉链表的实现过程
一个技术迷的博客
11-19 9496
拉链表的优势我就不说了，具体请参考百度百科： 拉链表-百度百科 推荐一个比较详细的参考文章： 拉链表示例 主要总结一下实现过程： 分析：拉链表就是用来存储变化的数据的，每一份数据都有对应的有效期，我们需要进行的操作就是将变动的数据进行新增，同时将变动对应的前一条数据的有效期进行变更。 说明：一般都是今天处理昨天的数据，本文所说的当天为所处理的数据的产生的当天。 在这之前需要熟悉一下需要用到的表： 表1：订单表（记录原始的数据） 表2：增量数据表（记录每日变更的数据） 表3：历史拉链表（我们要得到的就是这张表
拉链表实现过程
the_dog_so_happy的博客
06-27 2524
详细整理了一份拉链表的具体操作。
漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）
weixin_34388207的博客
07-12 3955
2019独角兽企业重金招聘Python工程师标准>>> ...
拉链表的详细实现过程（好文点赞收藏！！）
CLKTOY的博客
09-24 2万+
目录1-什么是拉链表2-为什么要做拉链表2.1-如何使用拉链表3-拉链表的形成过程4-拉链表的制作过程4.1-初始化拉链表（首次独立执行）4.2-制作当日变动数据（包括新增，修改）每日执行4.3-先合并变动信息，再追加新增信息，插入到临时表中4.4-把临时表覆盖给拉链表5-总结 1-什么是拉链表 本文以订单拉链表为例进行详细讲解。 2-为什么要做拉链表 2.1-如何使用拉链表 3-拉链表的形成过程 4-拉链表的制作过程 4.1-初始化拉链表（首次独立执行） 先生成10条原始订单数据（测试数
greenplum 查询出来的数字加减日期_「实战系列」Greenplum 建模最佳实践之拉链表...
weixin_39608559的博客
11-29 345
拉链表是一种数据模型，主要是针对数据仓库设计中表存储数据的方式而定义的。顾名思义，所谓拉链表，就是记录历史，记录一个事务从开始一直到当前状态的所有变化的信息。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据( SCD2 )的一种常见方式。一、概念原理在拉链表中，每一条数据都有一个生效日期 ( sdate ) 和失效日期 ( edate )。假设在一个用户表中，在 20...
拉链表的实现过程_拉链表（一）
weixin_42114046的博客
01-19 3385
拉链表（一）拉链表（二）一、前言在把关系型数据库的数据同步到数据仓库时，经常会涉及到拉链表。拉链表有其明显的优势：相比每次全量同步会节省存储空间能够查询到历史快照但是也会有其劣势：拉链表同步逻辑复杂消耗资源多本文主要讲解拉链表如何实现。二、原数据库表结构在讲解拉链表实现之前先规定一下原表的表结构。之后的拉链表数据就是从这个表同步得来。这里的例子是用户表（user），表结构如下用户表的变化过程如下：...
数仓拉链表的实现过程
weixin_43861104的博客
02-26 4653
1.简介 数据仓库中经常会遇到维度表缓慢变化的情况，针对这种情况可采用拉链表进行处理。拉链表就是记录历史数据的每个状态，数据量大，且存在数据的新增和变化。 2.实现过程 本文主要实现用户拉链表 2.1初始化用户拉链表 在DWD层创建用户的初始化拉链表，即在原始用户维度表上添加start_date和end_date列 DROP TABLE IF EXISTS gmall_2021.dwd_dim_user_info_his; -- 创建初始化拉链表 CREATE EXTERNAL TABLE gmall_20
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值