数据仓库拉链表

最新推荐文章于 2024-08-22 17:03:45 发布

菜鸟VS大神2

最新推荐文章于 2024-08-22 17:03:45 发布

阅读量543

点赞数

分类专栏：大数据 hive

本文链接：https://blog.youkuaiyun.com/yangyang222222222/article/details/114917750

版权

本文介绍了如何构建数据仓库中的拉链表，以跟踪业务变化。拉链表包含创建时间、操作时间、有效开始日期和结束日期字段，用于解决Hive中数据不可更新的问题。通过左连接原始业务表并结合新增数据，逐步更新和生成新的拉链表，最后通过定时任务维护。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建拉链表

1.1、拉链表中一般应该包括：创建时间、操作时间、有效开始日期、有效结束日期四个字段。拉链表用来反映业务变化过程，用来解决hive中数据不能更新的问题。

drop table if exists dwd_order_info_his;
create external table dwd_order_info_his(
    `id` string COMMENT '订单编号',
    `total_amount` decimal(10,2) COMMENT '订单金额',
    `order_status` string COMMENT '订单状态',
    `user_id` string COMMENT '用户id' ,
    `payment_way` string COMMENT '支付方式',
    `out_trade_no` string COMMENT '支付流水号',
    `create_time` string COMMENT '创建时间',
    `operate_time` string COMMENT '操作时间',
    `start_date`  string COMMENT '有效开始日期',
    `end_date`  string COMMENT '有效结束日期'
) COMMENT '订单拉链表'
stored as parquet
location '/warehouse/gmall/dwd/dwd_order_info_his/'
tblproperties ("parquet.compression"="snappy");

1.2、我们有一张原始