airflow跨Dag依赖的调度方式 人工智能回答

文章介绍了如何在ApacheAirflow中利用ExternalTaskSensor和ExternalTaskMarker来创建跨DAG的任务依赖。通过示例展示了当DAG_B的task_b完成后,如何触发DAG_A的task_a执行,确保任务执行顺序正确。

在 Airflow 中,可以使用 ExternalTaskSensor 和 ExternalTaskMarker 来实现跨 DAG 之间的依赖。

ExternalTaskSensor 用于等待另一个 DAG 中的任务完成,可以将其作为目标 DAG 中的任务的依赖项。ExternalTaskMarker 则用于标记目标 DAG 中的任务已经完成,以便其他 DAG 可以继续执行。

下面是一个使用 ExternalTaskSensor 和 ExternalTaskMarker 的示例:

假设有两个 DAG,一个是 DAG_A,另一个是 DAG_B。DAG_A 中有一个任务 task_a,DAG_B 中有一个任务 task_b,需要在 DAG_A 中等待 DAG_B 中的 task_b 完成后才能执行 task_a。

首先,在 DAG_A 中定义一个 ExternalTaskSensor,用于等待 DAG_B.task_b 完成:

from airflow.sensors.external_task_sensor import ExternalTaskSensor

wait_for_task_b = ExternalTaskSensor(
    task_id='wait_for_task_b',
    external_dag_id=
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值