数据开发之补数脚本

爱你魔力转圈圈

于 2021-11-08 18:12:32 发布

阅读量420

点赞数

分类专栏： shell hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/qq_42706464/article/details/121213111

版权

hadoop 同时被 2 个专栏收录

9 篇文章

订阅专栏

shell

3 篇文章

订阅专栏

本文介绍了一种使用Shell脚本自动化补全Hive中缺失数据的方法。通过设定日期范围，循环执行HQL脚本来更新最近10天的数据。如果数据更新成功，脚本将显示完成信息；否则，将提示更新失败并终止进程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据开发之补数脚本

如果数据少了需要重新跑一段时间的数据怎么办？这个时候就应该用到补数脚本。

#!/bin/bash

#作者：shyming
#创建时间：2021-11-08

#n为天数,执行前n天的数据统计
n=10
today=`date +%Y-%m-%d`

sql="
select '建表';
"

hive -e "${sql}"

#定义方法,便于传参循环跑数

function update_exec(){
hql="
select '处理';
"

hive -e "${hql}"

if [ $? -eq 0 ];then
    echo "数据 $ETL_DATE  更新完成"
else
    echo "数据 $ETL_DATE  更新失败"
	exit 1
fi
}
	

#循环跑数
echo "开始更新近${n}天数据"

while ((n>0))
do
 ETL_DATE=`date -d "${today} -$n days" +%Y-%m-%d`
 update_exec ${ETL_DATE}
 let  n--
done

echo "数据更新完成"

结果展示
在这里插入图片描述