SQOOP(hive抽取到hive)

最新推荐文章于 2023-12-12 18:09:17 发布

原创最新推荐文章于 2023-12-12 18:09:17 发布 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

本文为博主原创文章，未经博主允许可以转载。

文章标签：

#hive #sqoop #hadoop

HADOOP 同时被 2 个专栏收录

18 篇文章

订阅专栏

HIVE

10 篇文章

订阅专栏

这段脚本展示了如何在Hive中使用SQL语句插入数据。它首先检查是否提供了日期参数，如果没有，则使用前一天的日期。然后，它定义了一个SQL查询，用于从一个表中选择数据并插入到另一个表的指定分区。最后，执行Hive命令并根据返回状态输出成功或失败的信息。



hive='/usr/bin/hive'
hive_database='cagy'


if [ -n "$1" ] ;then
    do_day=$1
else
    do_day=`date -d "-1 day" +%F`
fi



str_sql="\
use $hive_database;
with a as 
(select * from table where dt='2222-22-22')
insert overwrite table 被插入的表名字 partition(dt='$do_day') 
select 
每个字段都写
from  a

;
"

$hive -e "$str_sql"

if [ $? -eq 0 ];then
    echo "============<成功，时间为[`date "+%Y-%m-%d %H:%M:%S"`]>============"
else
    echo "============<失败, 时间为[`date "+%Y-%m-%d %H:%M:%S"`]>============"
    exit 1
fi