写一个sqoop增量导入的shell脚本

最新推荐文章于 2023-08-24 14:30:45 发布

abothli

最新推荐文章于 2023-08-24 14:30:45 发布

阅读量3.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： sqoop hive MySQL数据库

本文链接：https://blog.youkuaiyun.com/xiaolong_4_2/article/details/82111236

hive 同时被 3 个专栏收录

30 篇文章

订阅专栏

MySQL数据库

27 篇文章

订阅专栏

sqoop

7 篇文章

订阅专栏

博客提到每隔2分钟会往hive中进行增量数据导入，涉及数据处理与存储相关操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

每隔2分钟，就往hive中增量导入数据。

#!/bin/sh
export SQOOP_HOME=/usr/share/sqoop-1.4.4
hostname="192.168.1.199"
user="root"
password="root"
database="test"
table="tags"
curr_max=0

function db_to_hive(){

    ${SQOOP_HOME}/bin/sqoop import --connect jdbc:mysql://${hostname}/${database} --username ${user} --password ${password}  --table ${table}   --split-by docid --hive-import --hive-table lan.ding  
 --fields-terminated-by '\t' --incremental  append  --check-column docid --last-value ${curr_max}   
    result=`mysql -h${hostname} -u${user} -p${password} ${database}<<EOF 
select max(docid) from ${table};
EOF`
curr_max=`echo $result |awk '{print $2}'`
}

if [ $# -eq 0 ];then
    while true
    do
      db_to_hive
      sleep 120
    done
    exit
fi