shell实现数据迁移

最新推荐文章于 2025-05-25 11:02:17 发布

原创

最新推荐文章于 2025-05-25 11:02:17 发布 · 753 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#nosql

这是一个使用Shell脚本进行数据迁移的例子，从MySQL数据库的'populcationcensus'库中的'AntiepidemicDataIncrement'表中，通过Sqoop工具将数据增量导入到Hive的'AntiepidemicDatatest'表。脚本首先获取当前的最大id，然后利用这个最大值作为增量迁移的依据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/bin/sh
export SQOOP_HOME=/opt/install/sqoop-1.4.7.bin__hadoop-2.6.0
export HIVE_HOME=/opt/install/hive-1.2.2-bin
hostname="..."
user=“root”
password="******"
database=“populcationcensus”
table=“AntiepidemicDataIncrement”
table1=""
curr_max=0

function db_to_hive(){

$HIVE_HOME/bin/hive -e “use default;select max(id) from antiepidemicdatatest;” >/opt/install/c.txt

dataline=$(cat /opt/install/c.txt)

testArr=(echo ${dataline}|awk '{len=split($0,a,",");for(i=1;i<=len;i++) print a[i]}')

echo ${testArr[0]}

echo ${testArr[1]}

curr_max=${testArr[1]}

$KaTeX parse error: Undefined control sequence: \ at position 31: …n/sqoop import \̲ ̲-Dhadoop.securi…$ {hostname}:3306/${database}
–username ${user}
–password-alias mysql.pwd.alias
–table AntiepidemicDataIncrement
–split-by id
–hive-import