增量实现

最新推荐文章于 2024-04-15 08:15:18 发布

xiaozhuangfeng

最新推荐文章于 2024-04-15 08:15:18 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop hive 文章标签： hive

本文链接：https://blog.youkuaiyun.com/xiaozhuangfeng/article/details/48467401

这是一个用于增量导入Oracle数据到Hive的shell脚本。脚本通过Sqoop从Oracle数据库中选择特定时间范围内的数据，并将它们导入到Hive表'SX_360_SAFE.MDMDATA_QUESTON_PROJECT'中。脚本处理了日期字段，并根据时间范围设置了IS_VALID_FLAG字段。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

###参数
source ExitCodeCheck.sh
queueName=$1;
hive_db_name_360=$2;
stat_date=$3;
end_date=$4;

#### 新理赔新增 1
hive -v -e "use ${hive_db_name_360};
set mapred.job.queue.name=queue_gbd_ide_02;
set hive.cli.print.header=false;
set hive.map.aggr=true;
set hive.groupby.skewindata=true;

set hive.exec.parallel=true;

insert overwrite table GBD_DM_PAC_SAFE.MID_T1_T1_AUTO_CLAIM_PROPERTY_NEW
select A.REPORT_NO, A.CASE_TIMES
from (select A.REPORT_NO, A.CASE_TIMES
from cx_edw_safe.claim_claimdata_clm_whole_case_base a
where to_date(A.updated_date) < to_date('${end_date}')
and to_date(A.updated_date) >= to_date('${stat_date}')
and a.MIGRATE_FROM in ('N', 'n')
union all
select A.REPORT_NO, A.CASE_TIMES
from cx_edw_safe.claim_claimdata_clm_investigation_task a
where to_date(A.updated_date) < to_date('${end_date}')
and to_date(A.updated_date) >= to_date('${stat_date}')
union all
select A.REPORT_NO, A.CASE_TIMES
from cx_edw_safe.claim_claimdata_clm_car_rob_info a
where to_date(A.updated_date) < to_date('${end_date}')