【甘道夫】实现Hive数据同步更新的shell脚本

最新推荐文章于 2022-03-11 22:53:24 发布

Gandalf_lee

最新推荐文章于 2022-03-11 22:53:24 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： HIVE Hadoop Sqoop Hadoop2.0

本文链接：https://blog.youkuaiyun.com/u010967382/article/details/38824327

Hadoop2.0 同时被 3 个专栏收录

46 篇文章

订阅专栏

Hadoop

30 篇文章

订阅专栏

HIVE

8 篇文章

订阅专栏

本文基于上一篇关于增量数据导入Hive的文章，详细介绍了如何编写一个Shell脚本，实现从Oracle到Hive的数据同步更新。脚本包括设置同步间隔、数据库连接参数、Hive表名等，并通过Sqoop进行增量数据导入，再用Hive SQL更新全量表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

引言：

上一篇文章《【甘道夫】Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表》 http://blog.youkuaiyun.com/u010967382/article/details/38735381 描述了增量更新Hive表的原理和Sqoop，Hive命令，本文基于上一篇文章的内容实现了shell脚本的编写，稍加修改就可用于实际工程。

***欢迎转载，请注明来源***

http://blog.youkuaiyun.com/u010967382/article/details/38824327

shell脚本

#!/bin/bash

#Please set the synchronize interval,unit is hour.

update_interval=24

#Please set the RDBMS connection params

rdbms_connstr="jdbc:oracle:thin:@192.168.0.147:1521:ORCLGBK"

rdbms_username="SP"

rdbms_pwd="fulong"

rdbms_table="OMP_SERVICE"

rdbms_columns="ID,SERVICE_NAME,SERVICE_PROCESS,CREATE_TIME,ENABLE_ORG,ENABLE_PLATFORM,IF_DEL"

#Please set the hive params

hive_increment_table="SERVICE_TMP"

hive_full_table="service_all"

#---------------------------------------------------------

#Import icrement data in RDBMS into Hive

enddate=$(date '+%Y/%m/%d %H:%M:%S')

startdate=$(date '+%Y/%m/%d %H:%M:%S' -d '-'+${update_interval}+' hours')

$SQOOP_HOME/bin/sqoop import --connect ${rdbms_connstr} --username ${rdbms_username} --password ${rdbms_pwd} --table ${rdbms_table} --columns "${rdbms_columns}" --where "CREATE_TIME > to_date('${startdate}','yyyy-mm-dd hh24:mi:ss') and CREATE_TIME < to_date('${enddate}','yyyy-mm-dd hh24:mi:ss')" --hive-import --hive-overwrite --hive-table ${hive_increment_table}

#---------------------------------------------------------

#Update the old full data table to latest status

$HIVE_HOME/bin/hive -e "insert overwrite table ${hive_full_table} select * from ${hive_increment_table} union all select a.* from ${hive_full_table} a left outer join ${hive_increment_table} b on a.service_code = b.service_code where b.service_code is null;"

注意：

在shell脚本中执行hive hql的命令格式是 hive -e "select ..."

Cron脚本

添加定时任务每天凌晨2点执行该脚本

0 2 * * * /home/fulong/shell/dataSync.sh