数据仓库-增量转全量，全量转增量

James。。。。

已于 2023-03-06 11:36:29 修改

阅读量3.6k

点赞数 3

分类专栏：数据仓库文章标签：数据仓库

于 2020-08-24 12:41:49 首次发布

本文链接：https://blog.youkuaiyun.com/hsl971105/article/details/108196878

版权

增量转全量

ods增量抽取数据，dwd层增量转全量
思路：合并数据 = T-1的增量数据 + T-2的全量数据(排除T-1发生变化的数据)

实现：

method1：left join


CREATE TABLE ods_fyp_user_info_di (
    id STRING COMMENT '主键id',
    name STRING COMMENT '姓名',
    mobile STRING COMMENT '手机号码',
    sex STRING COMMENT '性别',
    create_time STRING COMMENT '创建时间',
    update_time STRING COMMENT '更新时间'  
) COMMENT 'ods层fyp业务线下的用户维度增量表'
PARTITIONED by (ds STRING) LOCATION '/user/hive/warehouse/foliday_data_center/ods_fyp_user_info_di'


CREATE TABLE dwd_fyp_user_info_df (
    etl_time STRING COMMENT 'ETL运行时间',
    id STRING COMMENT '主键id',
    name STRING COMMENT '姓名',
    mobile STRING COMMENT '手机号码',
    sex STRING COMMENT '性别',
    create_time STRING COMMENT '创建时间',
    update_time STRING COMMENT '更新时间' 
) COMMENT 'dwd层fyp业务线下的用户维度'