hive表拉链

for your wish

已于 2023-06-14 14:26:32 修改

阅读量202

点赞数

CC 4.0 BY-SA版权

文章标签： hadoop sql hive

于 2020-12-25 17:55:35 首次发布

本文链接：https://blog.youkuaiyun.com/someInNeed/article/details/111693036

Hive 专栏收录该内容

55 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Hive中的拉链表技术，用于处理维度变更。通过创建日历表并进行内连接，可以获取每天的拉链状态。同时强调了在维护机构表时，需要确保使用最新视图。在实践中，应注意切片日期的选择，并排查可能出现的数据量不一致问题，例如由于NULL和空字符串不一致以及编码问题导致的断链。解决方案包括统一数据清洗标准和检查编码设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一般维度变更用拉链，度量值变更可以用快照

--获取0-99
WITH a AS (SELECT explode(split('0,1,2,3,4,5,6,7,8,9',',')))
select cast(a1.col + 10*a2.col as int) from a  a1 JOIN a a2 ON 1=1

拉链表，做出一段日历表，每天拿去inner join不等关联拉链表获取出当天切片。这样就能获取出每天拉链表的状况，拿这个每天去匹配

create temporary table temp.v_dmn_org_daily as
WITH a AS (SELECT explode(split('0,1,2,3,4,5,6,7,8,9',',')))
SELECT t.*
      ,regexp_replace(d.dt_date,'-','') as dt_date
  FROM dim.v_fin_dmn_org t
 INNER JOIN (
   SELECT 
    date_sub('$rptDate', cast(a1.col + 10*a2.col as int)) dt_date,
    a1.col + 10*a2.col as num 
   FROM a a1 JOIN a a2 ON 1=1) d
    ON 1=1  and num <20
 WHERE regexp_replace(t.start_dt,'-','') <= regexp_r

了解本专栏