Linux shell 指定日期区间循环调度

最新推荐文章于 2023-07-03 15:48:23 发布

原创最新推荐文章于 2023-07-03 15:48:23 发布 · 511 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#linux #shell

大数据专栏收录该内容

16 篇文章

订阅专栏

本文介绍如何使用Azkaban脚本分别处理不同日期格式的调度数据，包括从yyyy-MM-dd到yyyyMMdd的转换，并抓取指定时间段内的所有分区。

场景：Azkaban 调度历史数据

1:调度 start_time ~ end_time 时间间隔内的所有分区格式为 yyyy-MM-dd

#!/usr/bin/env bash
EXPORT_START_DATE=2021-05-01
EXPORT_END_DATE=2021-08-21


i=$EXPORT_START_DATE
while [[ $i < `date -d "+1 day $EXPORT_END_DATE" +%Y-%m-%d` ]]
do
STARTDATE=$i

   echo STARTDATE
i=`date -d "+1 day $i" +%Y-%m-%d`
done

2: 调度start_time ~ end_time 时间间隔内的所有分区，分区格式为 yyyyMMdd

#!/usr/bin/env bash
EXPORT_START_DATE=2021-05-01
EXPORT_END_DATE=2021-08-21


i=$EXPORT_START_DATE
while [[ $i < `date -d "+1 day $EXPORT_END_DATE" +%Y%m%d` ]]
do
STARTDATE=$i

   echo STARTDATE
i=`date -d "+1 day $i" +%Y%m%d`
done