4.1 离线数仓—DWD层工具域事实表实现

原创

已于 2022-03-07 20:23:45 修改 · 697 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据仓库 #hive #sql

于 2022-02-25 10:27:48 首次发布

本文详细介绍了DWD层中工具域的优惠券领取、使用(下单)和使用(支付)三个事务事实表的设计与装载过程，包括建表语句、首日及每日装载语句。在装载过程中，特别提醒注意不能使用字段is not null的判断来确认更新操作，因为这可能导致错误的结果。

离线数仓—DWD层工具域事实表实现

前言
一、工具域优惠券领取事务事实表
二、工具域优惠券使用(下单)事务事实表
三、工具域优惠券使用(支付)事务事实表

前言

前面完成了交易域6张事务事实表的设计，下面继续进行DWD层工具域事务事实表的设计

一、工具域优惠券领取事务事实表

1.建表语句

DROP TABLE IF EXISTS dwd_tool_coupon_get_inc;
CREATE EXTERNAL TABLE dwd_tool_coupon_get_inc
(
    `id`        STRING COMMENT '编号',
    `coupon_id` STRING COMMENT '优惠券ID',
    `user_id`   STRING COMMENT 'userid',
    `date_id`   STRING COMMENT '日期ID',
    `get_time`  STRING COMMENT '领取时间'
) COMMENT '优惠券领取事务事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dwd/dwd_tool_coupon_get_inc/'
    TBLPROPERTIES ("orc.compress" = "snappy");

2.首日装载语句

insert overwrite table dwd_tool_coupon_get_inc partition(dt)
select
    data.id,
    data.coupon_id,
    data.user_id,
    date_format(data.get_time,'yyyy-MM-dd') date_id,
    data.get_time,
    date_format(data.get_time,'yyyy-MM-dd')
from ods_coupon_use_inc
where dt='2020-06-14'
and type