二百二十七、Linux——通过shell脚本判断HDFS文件是否存在,如果存在则删除HDFS文件

文章讲述了如何在脚本中添加逻辑来判断HDFS文件是否存在,以避免删除错误。作者分享了原始脚本的问题,以及如何使用`hadoopfs-test-e`命令检查文件存在性,并在文件存在时删除,同时确保ODS层分区的同步删除。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、目的

在用脚本去实现对HDFS中过期的ODS层原始数据进行删除后,发现还需要在脚本中对HDFS文件是否存在进行判断,否则如果HDFS文件不存在那么任务执行就会报错

报错原因是这一天的HDFS文件并不存在

原有脚本

#! /bin/bash
source /etc/profile

nowdate=`date --date='0 days ago' "+%Y%m%d"`
day_30_ago_date=`date -d "30 day ago " +%Y-%m-%d`

hdfs dfs -rm -r /user/hive/warehouse/hurys_dc_ods.db/ods_event/day=${day_30_ago_date}

二、判断Linux中文件是否存在的shell命令(未亲测过

if [ ! -f "$file" ];then

   echo "文件不存在"

fi

三、Hadoop相关的文件命令

hadoop fs -test 

-d

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天地风雷水火山泽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值