数据处理脚本

最新推荐文章于 2024-08-14 14:43:08 发布

原创

最新推荐文章于 2024-08-14 14:43:08 发布

· 362 阅读

2 ·

版权

filename_prefix=
filename_suffix=log
#保存处理过的日志的路径
logger_path=
#临时文件路径
temp_dir=
#数据源路径
resource_path=/home/trace/
#处理一小时之前的数据
one_hour_ago=`date "+%Y-%m-%d_%H" -d "-1 hour"`
#防止漏处理前三个小时的数据.需要进行检测
two_hour_ago=`date "+%Y-%m-%d_%H" -d "-2 hour"`
three_hour_ago=`date "+%Y-%m-%d_%H" -d "-3 hour"`
#日志文件名字
one_hour_ago_filename=${filename_prefix}_${one_hour_ago}
two_hour_ago_filename=${filename_prefix}_${two_hour_ago}
three_hour_ago_filename=${filename_prefix}_${three_hour_ago}
declare -A map_filename
#echo ${one_hour_ago_filename}


make_directory(){
if [[ ! -d  $1 ]];then
        mkdir -p $1
fi
}

create_new_file(){
if [[ ! -f  $1 ]];then
        touch  $1
fi
}

get_current_map_filename(){
while read line
do
map_filename[$line]="has_downloaded"
done < $1

}

merge_target_file_by_the_same_hour(){ 
for line in  `e