瘦化拉链表

最新推荐文章于 2024-10-15 17:05:29 发布

转载最新推荐文章于 2024-10-15 17:05:29 发布 · 189 阅读

文章标签：

由于前期分析不到位，导致缓慢变化维表增长速度过快，影响查询性能，
分析发现只是由于一些无关紧要的字段变化产生此类数据，因此，要实现拉链表的瘦化，
例如，有一个表tb_aa(pk_id,a,b,c,d,e,start_date,end_date),pk_id是源表主键，原先是根据a,b,c,d,e这些字段做的拉链，导致数据量过大，
目前通过分析，只需要a,b,c进行捕获变化进行拉链处理，因此，更改ETL程序同时，对历史数据进行处理，处理方式如下（oracle数据库）
1，创建备份表，

点击(此处)折叠或打开

create table tt_aa as select * from tb_aa t;

2，清空拉链表

点击(此处)折叠或打开

truncate table tb_aa;

3，插入拉链表

点击(此处)折叠或打开

INSERT INTO tb_aa
WITH a AS
(SELECT row_number() over(PARTITION BY pk_id ORDER BY t.start_date) rn,
t.*
FROM tt_aa t),
b AS
(SELECT g.*,
lead(start_date) over(PARTITION BY pk_id ORDER BY start_date) endd
FROM (SELECT first_value(rn) over(PARTITION BY pk_id,a,b,c ORDER BY rn rows 1 preceding) rnb,
a.*
FROM a) g
WHERE g.rnb != g.rn - 1)
SELECT pk_id,a,b,c,d,e,
trunc(start_date),
nvl(trunc(endd), to_date(\'30001231\', \'yyyymmdd\')) end_date
FROM b;
COMMIT;