Sqoop从HDFS导出Hive表到Mysql的shell脚本

最新推荐文章于 2024-07-13 22:59:21 发布

zhangbinu

最新推荐文章于 2024-07-13 22:59:21 发布

阅读量1.3k

点赞数 1

分类专栏：大数据 Hadoop 文章标签： sqoop shell

本文链接：https://blog.youkuaiyun.com/zhangbinu/article/details/82021633

版权

因统计需求，要指将Spark SQL计算好的结果，从Hive导出到Mysql数据库，于是写了个批量导的脚本。
运行参数：开始时间结束时间
注意点：
1. 在shell中，sqoop语句的每一行末尾不能有多余的空格，否则执行时报错！
2. shell中的if条件判断，只能是数字和才能比较大小，需要将时间转成时间戳！
代码如下：

#!/bin/bash
source /etc/profile 

echo ................................Sqoop export data from:$1 to:$2

endtime=`date -d "$2" +%s`

for((i=0;;i++))
do   
    day=$(date "+