Airflow学习之路一概念

最新推荐文章于 2025-05-25 22:24:30 发布

取啥名字好�

最新推荐文章于 2025-05-25 22:24:30 发布

阅读量235

点赞数

CC 4.0 BY-SA版权

分类专栏：工作流调度平台文章标签：大数据

5 篇文章

订阅专栏

本文介绍了Airflow中的DAG概念，包括其构成元素如任务(task)、任务实例(TaskInstance)及运行特性DAGRun等，并解释了DefaultArguments的作用及execution_date的意义。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DAGS

DAG是一个由n( $n\geqslant1$ )个task构成的有向无环图。它记录了任务之间的逻辑关系，调度时间，任务状态等等。

以字典的形式将参数传入DAG中。官方文档¹中将参数统一放置于default_args中，其适用于任意实例化运算符。

它是DAG的实例化，是具有特性执行时间(execution_date)的任务实例，通过airflow scheduler来创建。

execution_date是DAG运行及其任务实例运行的逻辑时间。该时间可以是过去也可以是将来的某一个时间。

operators决定了每个任务的完成情况，它定义了每一个task执行的具体内容。
常见的operators有如下：

Tasks作为DAGs中的一个节点，它是operators中的一个实例。可以执行某段Pyhon代码，也可以执行某个Bash命令。每个任务之间都有相应的依赖关系。例如：

t1 >> [t2, t3]
# 等同于
t2.set_upstream(t1)
t3.set_upstream(t1)  
or  
t1.set_downstream(t2)
t1.set_downstream(t3)

上述示例中表明，任务2依赖于任务1；任务3依赖于任务1。

它是tasks的实例。每个实例都有指示性状态，有 “运行”, “成功”, “失败”, “跳过”, “等待重试”等。