一、目的
在用脚本去实现对HDFS中过期的ODS层原始数据进行删除后,发现还需要在脚本中对HDFS文件是否存在进行判断,否则如果HDFS文件不存在那么任务执行就会报错
报错原因是这一天的HDFS文件并不存在
原有脚本
#! /bin/bash
source /etc/profile
nowdate=`date --date='0 days ago' "+%Y%m%d"`
day_30_ago_date=`date -d "30 day ago " +%Y-%m-%d`
hdfs dfs -rm -r /user/hive/warehouse/hurys_dc_ods.db/ods_event/day=${day_30_ago_date}
二、判断Linux中文件是否存在的shell命令(未亲测过)
if [ ! -f "$file" ];then
echo "文件不存在"
fi
三、Hadoop相关的文件命令
hadoop fs -test
-d