sqoop导入数据到hive ods层

最新推荐文章于 2025-02-12 21:58:16 发布

浩毅

最新推荐文章于 2025-02-12 21:58:16 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

文章标签： linux

本文链接：https://blog.youkuaiyun.com/weixin_42219734/article/details/80363418

这是一个bash脚本，用于根据参数从MySQL数据库将数据导入到Hive的ODS层。脚本支持全量（a）和增量（i）导入，根据指定日期和增量字段进行数据筛选。如果未提供日期，则默认为昨日数据。脚本首先检查参数，然后连接MySQL获取数据，并使用sqoop将数据导入HDFS，最后将数据加载到Hive表中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# !/bin/bash
# 功能:把源数据表加载到hive ods层
# 输入参数据:$1 源数据库 $2 源表名 $3 增全量 $4加载数据日期 $5增量字段1 $6增量字段2 $增量字段3
# 如果是全量增量字段不需要输入
# $4加载日期如果不输入则认为是加载昨日数据
# $5,$6,$7 根据实时情况输入
# 例：sh sqoop_mysql_hive_table.sh athletics c_banner i 2017-11-29 end_time start_time create_time

# 开始判断参数据参数个数

if [ $# -lt 3 ];then
echo "wrong arg[] number"
exit 1
fi

#输入数据库名，表名
dbname=$1
tab_name=$2

if [ -z "$dbname" ] || [ -z "$tab_name" ]; then
echo "The auth info of has not been configured"
exit 1;
fi

# 判断日期输入 $7

if [ -z "$4" ];then
yesterday=`date -d yesterday +%Y-%m-%d`
stat_date=${yesterday}
else
stat_date="$4"
fi

"加载数据的日期是："$stat_date &>> /disk4/azkaban/logs/sqoopimplog/${stat_date}_${tab_name}.log

# 判断增全量数据并处理查询条件
if [ "$3" = "a" ];then
contn=""
elif [ "$3" = "i" ];then
#处理增量参数据
cont0=" WHERE 1=0 "
if [ -z "$5" ];then
echo $5" is null"
else
cont1="or date_format($5,'%Y-%m-%d')='$stat_date' "
fi

if [ -z "$6" ];then
echo $6" is null"
else
&