在 Airflow 中,可以使用 ExternalTaskSensor 和 ExternalTaskMarker 来实现跨 DAG 之间的依赖。
ExternalTaskSensor 用于等待另一个 DAG 中的任务完成,可以将其作为目标 DAG 中的任务的依赖项。ExternalTaskMarker 则用于标记目标 DAG 中的任务已经完成,以便其他 DAG 可以继续执行。
下面是一个使用 ExternalTaskSensor 和 ExternalTaskMarker 的示例:
假设有两个 DAG,一个是 DAG_A,另一个是 DAG_B。DAG_A 中有一个任务 task_a,DAG_B 中有一个任务 task_b,需要在 DAG_A 中等待 DAG_B 中的 task_b 完成后才能执行 task_a。
首先,在 DAG_A 中定义一个 ExternalTaskSensor,用于等待 DAG_B.task_b 完成:
from airflow.sensors.external_task_sensor import ExternalTaskSensor
wait_for_task_b = ExternalTaskSensor(
task_id='wait_for_task_b',
external_dag_id=

文章介绍了如何在ApacheAirflow中利用ExternalTaskSensor和ExternalTaskMarker来创建跨DAG的任务依赖。通过示例展示了当DAG_B的task_b完成后,如何触发DAG_A的task_a执行,确保任务执行顺序正确。
最低0.47元/天 解锁文章
1129

被折叠的 条评论
为什么被折叠?



