AirFlow的Scheduling的start_date解释

原创 已于 2023-03-24 15:33:25 修改 · 5.9k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#调度 #airflow

于 2020-06-19 08:55:56 首次发布
本文探讨了Airflow调度中start_date和schedule_interval的使用，通过测试发现，start_date并不决定任务首次执行时间，而是从start_date加一个schedule_interval周期开始计算。实际第一次执行时间是start_date加上一个周期的next_execution_time。文章提供了测试案例和结论，强调正确理解schedule_interval表达式的重要性。

Airflow的scheduling的start_date和schedular_interval

问题出现

  Airflow是一个定时调度框架，最近公司需要用到airflow进行对脚本程序的调度。所以公司搭建了一个Airflow的平台，现在有一个任务需要在每天的18点02分执行,那么我们怎么做呢？
我们编辑了一个Airflow的python文档，(具体的代码就不放出来了）里面的内容大致如下:
在这里插入图片描述
在这个图里面，关注两个变量名称
* start_date
* schedule_intervel
现在需求是从2020-06-18 18:02:00开始程序的第一次执行，此后，程序将会在每一天的18:02:00这个时间点执行。
在实现这个需求之前，我们先做了一个针对Airflow的测试，测试的目的是想要验证一下Airflow能否正常的去执行。

测试过程

&emsp:&emsp:在开始之前，我们准备了一个shell脚本内容如下:

date >> mydate.txt

在北京时间为:2020-06-18 15:16:00的时刻下（当前时间2020-06-18 15:14:00），我们想要让这个shell脚本第一次执行，并且每五分钟执行一

最低0.47元/天 解锁文章
Apache Airflow (五) ：DAG调度触发时间
qq_32020645的博客
11-13 1177
以上表格中以第一条数据为例解释，Airflow正常调度是每天00:00:00 ，假设当天日期为2021-09-04，正常我们认为只要时间到了2021-09-04 00:00:00 就会执行，改调度时间所处于的调度周期为2021-09-04 00:00:00 ~ 2021-09-05 00:00:00 ，在Airflow中实际上是在调度周期末端触发执行，也就是说2021-09-04 00:00:00 自动触发执行时刻为 2021-09-05 00:00:00。
airflow start_date schedule_interval启动时间
weixin_42357472的博客
11-09 3295
airflow dags文件airflow.py更新dagid后要重新 airflow initdb 错误：The scheduler does not appear to be running. Last heartbeat was received 3 d 需要重新执行airflow scheduler start_date 开始时间 参考：https://blog.youkuaiyun.com/OldDirverHelpMe/article/details/106843857 Airflow调度程序的时候第一
Airflow填坑 - 生产环境实战，开始时间与周期的设置
JK_GOME的博客
07-31 1万+
对于Airflow的介绍、作用，在此不做赘述，以下是本人在工作中，对于Airflow的使用和一些填坑，希望对您有所帮助。 首先，介绍一下需求 在大数据处理阶段，也就是数据的ETL，我们通过公司自己开发的平台，将各个业务流程模型化，模型 = 输入算子 + 数据处理算子（SQL化，底层为sparksql） + 输出算子，类似于这种模型，代表一个个的业务，对于开发者来说，当然比较方便，但在客户公司去...
apache airflow 定时调度时间配置
weixin_44784088的博客
03-18 7196
airflow是基于DAG（有向无环图）的调度任务管理系统，Airflow可以方便查看任务的执行状况（执行是否成功、执行时间、执行依 赖等），可追踪任务历史执行情况，任务执行失败时可以收到邮件通知，查看错误日志。 样例dag： import airflow from airflow import DAG from airflow.operators.python import PythonOperator from datetime import timedelta from datetime import
airflow 运行周期设置 schedule_interval
frone的专栏
09-12 2万+
airflow 运行周期问题 最近开始正式使用airflow，关于 schedule_interval 和页面上显示的 last run一直有些不太清楚的地方，而在设置一个每周运行的任务时终于遇到了问题，任务并没有能够如期运行。 一系列google之后发现 airflow的 schedule_interval虽然可以使用cron表达式，但是还是和crontab有一些区别的。 关于 backf...
airflow调度时间详解
最新发布
blackoon88的博客
03-17 630
airflow调度概述Apache Airflow 是一个开源的工作流调度和监控平台，广泛用于数据工程、ETL（提取、转换、加载）管道以及各种自动化任务。下面我将详细说明 Airflow 的调度算法。DAG（有向无环图）Airflow 的核心是 DAG（Directed Acyclic Graph），它定义了一组有序的任务，其中每个任务称为一个 “task”。DAG 是调度的基本单位，Airflow 通过 DAG 定义任务的依赖关系和执行顺序。DAG调度器。
Start Airflow and airflow schedule, create airflow user in Postgresql
BigDataSmallTeam 大数据小团队--蒙昭良的博客
01-27 2247
Start Airflow and airflow schedule, create airflow user in Postgresql We will first createairflow_dband a user withairflow_userandairflow_pass. Below SQL commands can help us achieve the same: Create Airflow User in PostgreSQL: root@SecondaryData...
Airflow
bopbaby1991的博客
01-31 4769
Airflow概述特性比较下载Python2.7pipsetuptoolsairflow功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导...
Airflow 使用及原理分析
Docker的专栏
11-16 3420
Airflow 入门及使用什么是 Airflow？Airflow 是一个使用 Python 语言编写的 Data Pipeline 调度和监控工作流的平台。Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具，不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。这个平台拥有和 Hive、Presto、MySQL、HDF...
单机airflow性能优先和调度说明
NineKing
05-20 1425
单机airflow性能优先和调度说明性能调优环境说明参数调整调度说明 性能调优 环境说明 airflow版本 2.0.2 执行测试环境的执行器：Local Executor，将自带的sqlite替换成msyql数据库，可以支持并发调度 使用 airflow config get-value core executor可以查看使用的执行器 参数调整 主要对于airflow.cfg配置文件内参数进行调整,针对核心的几个参数进行说明： parallelism: 执行器能最大并行执行的task数量 dag_c
airflow调整时区为国内时间
qq_45503709的博客
12-01 1092
airflow调整时区为国内时间 import pendulum default_args = { 'owner': 'airflow', 'start_date': pendulum.datetime(year=2020, month=12, day=1).astimezone('Asia/Shanghai'), 'depends_on_past': False, 'email': ['airflow@airflow.com'],
airflow 的使用之 Operators 介绍
yuan_jiaoyoung的博客
03-02 3103
Operators 允许生成特定类型的任务，这些任务在实例化时成为 DAG 中的任务节点。所有的 Operator 均派生自 BaseOperator，并以这种方式继承许多属性和方法。Operator 主要有三种类型:1、执行一项操作或在远程机器上执行一项操作。2、将数据从一个系统移动到另一个系统3、类似传感器，是一种特定类型 Operator，它将持续运行，直到满足某种条件。
hadoop组件---spark实战-----airflow----调度工具airflow定时运行任务的理解
直到世界的尽头
03-12 2848
我们在前面已经初步了解了 airflow: hadoop组件—spark实战-----airflow----调度工具airflow的介绍和使用示例 但是 我们开始 尝试使用 airflow的 定时任务的时候 ，常常遇到一个尴尬的情况， 任务没有成功运行，或者说 设置开始时间是今天，但是 明天 才开始运行。 本篇文章 尝试 说明 其中的 原理。 首先 需要声明: schedule_interval ...
[2021-09-08] 关于airflow 的任务调度周期设置schedule_interval
枪枪枪的博客
09-08 1864
schedule_interval
Airflow学习之路四 Scheduler时间调度
student_thon的博客
03-03 1929
概念 文档1中有如下几句话： The first DAG Run is created based on the minimum start_date for the tasks in your DAG. Subsequent DAG Runs are created by the scheduler process, based on your DAG’s schedule_interval, sequentially. If you run a DAG on a schedule_interval o
airflow获取时间参数
盛源的博客
09-16 5189
1 获得年 year = "{{ macros.ds_format(ds,'%Y-%m-%d','%Y') }}" 2 获得月 month = "{{ macros.ds_format(ds,'%Y-%m-%d','%m') }}" 3 获得周 week = "{{ macros.ds_format(ds,'%Y-%m-%d','%W') }}" 4获取天 dt = "{{ macros.ds_format(ds,'%Y-%m-%d',%d') }}" 5 获得小时 hour = "...
Airflow学习笔记 --- 基本知识储备
杨鑫newlife的专栏
06-06 8646
Airflow学习笔记 --- 基本知识储备
AirFlow 使用指南三 第一个DAG示例
热门推荐
SmartSi
08-03 3万+
经过前两篇文章的简单介绍之后，我们安装了自己的AirFlow以及简单了解了DAG的定义文件．现在我们要实现自己的一个DAG． 1. 启动Web服务器 使用如下命令启用: airflow webserver 现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI，例如：http://localhost:8080/admin/ 备注 Airfl...
airflow_imaging_plugins 2.1.0 Python插件包下载
标题中提到的“airflow_imaging_plugins-2.1.0-py3-none-any.whl”是一个以 `.whl` 格式打包的 Python 软件包，该文件来源于 PyPI 官网，属于 Airflow 生态系统中的一个插件模块，专注于数据成像与可视化功能的扩展...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值