因工作需求,要将mysql的数据导入到Hive中通过Spark SQL进行分析,经过一翻周折,完成了这个自动化脚本,算是实现需求的第一步,也算是在Shell编程这条路上算是迈出了第一步。
mysql中每天一张表,hive中一个表,按时间分区,如dt=180820.
以下是导数据的Shell脚本:
#!/bin/bash
source /etc/profile
host=127.0.0.1
for((i=0;;i++))
do
day=$(date "+%y%m%d" -d "$1 $i day")
if [ ${
day} -gt $2 ]
then
break
else
sql="select pass_id,pass_time,camera_id,camera_code,devi