Hive 两张表数据验证方案、两张大表如何进行数据验证以及剔除部分字段进行数据验证

  最近的问题是，宽表在上线之前，需要在测试环境进行试跑，试跑结束后如何跟线上正式数据进行比对呢？简单记录一下设计方案。

  1、小表数据验证

        一些字段比较少的表进行数据验证的方案之前出过

Hive 数据模型切换后的数据验证方案_小菜菜1223的博客-优快云博客

select * from (
    select contr_no
    ,user_id
    ,unique_id
    ,if_open_cooperator
    from test.a
    where dt='20220908'
) a
join (
    select contra_no
    ,usr_id
    ,prod_cd
    ,if_open_cooperator
    from test.b
    where dt='20220908'
) b
on a.contr_no=b.contra_no
where (
    coalesce(a.if_open_cooperator,'')!=coalesce(b.if_open_cooperator,'')
)
;

2、宽表数据验证

  本次宽表数据验证我想得方法是讲两张表的数据进行union，然后group by 一下查看是否有!=1的数据，这样就能检测出数据有无差异。

  

select usr_id from (
select * from data_mart_tmp.cust_info_five_lgy_test
union
select * f