AirFlow 如何传参数给DAG

最新推荐文章于 2025-07-04 11:21:20 发布
原创 最新推荐文章于 2025-07-04 11:21:20 发布 · 1w 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#airflow #dag #参数 #trigger_dag

本文介绍了如何通过AirFlow的API和命令行传递参数给DAG。内容涉及GET方法获取DAG信息，POST方法运行DAG并传入自定义参数，以及在DAG中如何获取这些参数。提供了API交互的两种方式和命令行启动DAG的示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

题外话（可以直接跳过进入正题）：

    最近需要使用airflow去调度任务，平常使用airflow都是调度的定时任务，这次不需要定时任务，只需要条件满足时主动触发airflow执行任务调度即可，同时将任务必要的外界参数传给DAG。查了好多资料发现都没有介绍如何将参数传给DAG的，于是就去看airflow文档，找到了使用命令行可以将参数传给DAG。但这种方式不适合我的任务需求，我需要调用airflow的API去触发airflow执行，可是官方文档中这块介绍的很少很少。也请教了一些人，得到的结果是airflow可能不支持自定义的参数传入。那怎么办呢？难道只能改源码？不科学呀，命令行支持，API怎么会不支持呢？于是本着不行就改源码的想法查看，一路查下去最后发现API和命令行调用的是同一个方法（trigger_dag），既然是同一个方法，肯定支持啊，于是有重新看了一下文档和源码，终于找到了二者之间的联系，哈哈哈，搞定～～

目录

1、通过API与AirFlow交互

(1)  GET方法获取指定下的指定信息

(2)  POST方法运行指定的

2、通过命令行启动DAG时传参

1、通过API与AirFlow交互

AirFlow提供了两种API交互方式：

(1)  GET方法获取指定<DAG_ID>下的指定<TASK_ID>信息

http://<WEBSERVER>:<PORT>/api/experimental/dags/<DAG_ID>/tasks/<TASK_ID>   #returns info for a task (GE
最低0.47元/天 解锁文章

200万优质内容无限畅学
Airflow DAG参数传递与默认值设置实例解析
m0_62153576的博客
02-20 127
Airflow DAG（Directed Acyclic Graph，定向无环图）是定义工作流的核心组件。在某些场景下，我们希望DAG能够接收外部参数，并且如果没有传递参数，DAG自动使用逻辑日期作为默认值。这个需求在处理数据ETL（Extract, Transform, Load）任务时尤为常见，因为数据处理通常与日期密切相关。首先，我们定义一个DAG，并在params中设置date_param的默认值为一个虚拟值，如"dummydefaultvalue"。dag = DAG(
DAG Airflow 流程控制依赖
AI天才研究院
10-10 987
DAG(Directed Acyclic Graph，有向无环图)是一个用来表示工作流程的有序集合。它由节点和有向边组成，每个节点代表一个动作或活动，每条边代表活动之间相互之间的流转关系。DAG定义了有向无回路的任务依赖关系，任务按照顺序执行，一次成功完成后可进行下一步操作。它是一种有效且实用的工作流模式。Apache Airflow（以前称为Apache Oozie），是一个开源项目，主要基于Python开发，用于创建、维护、监控和管理 workflows (工作流)。
airFlow的安装使用以及参数说明.docx
09-20
定时任务airflow工具的安装使用以及如何进行配置，参数的说明等
Airflow实战--通过REST API来为任务传递参数1
zg_hover的专栏
11-14 3900
Airflow实战–通过REST API来为任务传递参数1 本文介绍如何通过REST API来给任务传递参数。在实际应用中任务的参数传递非常重要，因为根据不同的参数任务会执行不同的逻辑。所以，参数传递是一个任务调度系统必须具备的基本功能。本文就来研究一下如何通过airflow的REST API来为任务传递参数。 基于airflow-2.2.1。 Airflow的参数传递 前面的文章已经分析过，可以通过两种方式来对airflow中的任务进行参数传递，一种是通过xcom机制，一种是通过共享变量。如何利用这两种方
Apache Airflow API完全指南：从基础操作到高级应用
高压锅博客
07-04 159
Apache Airflow API提供了强大的工作流管理功能，支持通过RESTful接口与Airflow交互。本文介绍了API的基础配置、认证授权和核心操作，包括DAG管理（获取列表、触发运行、暂停/恢复）、任务实例状态监控等。API采用RESTful设计，支持多种认证方式，并遵循RBAC权限控制。通过示例代码展示了如何使用Python请求库实现常见操作，如获取DAG列表、触发带参数的DAG运行以及更新DAG状态。这些API接口为自动化工作流管理提供了灵活高效的解决方案，适用于开发和生产环境。
Airflow实战--通过REST为任务传递多个参数
zg_hover的专栏
11-16 1269
Airflow实战–通过REST为任务传递多个参数 可以通过REST接口来为任务传递多个参数。传递多个参数的方法有几种，其中一个是把参数通过json保存到一个key中。 另外，就是通过REST接口的conf参数中添加多个key-value的值。在任务执行端的Python算子中，可以多次调用context[“dag_run”].conf.get来获取每个key的值。 若传递了多个参数，但只想获取其中某个参数，也是可以的。 1.通过REST传递多个参数 当想通过REST来传递多个参数时，只需要在conf参数中添
通过API触发airflow的DAG任务
babyfengfjx的博客
05-06 1747
以前编写的DAG都是通过定时触发的，当前有一个场景需要通过手动提交API来触发，这样能够在用户需要的时候，主动触发执行任务，于是就有了这篇内容的摸索。之前只知道airflow支持通过API来触发任务，但是具体如何操作是真不会，看了官方的API文档，也没找到具体方法，特别是认证这块一直没解决，最后查看了一些其他用户发表的文章，找到了点苗头，这里就简单做个记录。
Airflow中Task参数说明
Aries_Observer的博客
05-07 523
task_id 是每个任务的唯一标识符，用于标记 DAG 中的任务。它是 Airflow 中任务的核心属性之一，类似task的身份证，必须在同一个 DAG 中保持唯一。在Airflow的Web UI界面中，task_id用于显示任务的状态、日志和执行历史，日志文件的命名也会包含task_id，可以通过task_id来快速找到任务的日志和状态。此外在任务之间通过XCom传递数据时也需要用task_id来标识数据的来源任务。
airflow dag之间调用方法.docx
06-04
### Airflow DAG之间的调用方法 #### 一、概述 Apache Airflow 是一款用于工作流管理的平台，它能够帮助用户定义、监控以及调度复杂的任务流。Airflow 的核心概念是 DAG（Directed Acyclic Graph），即有向无环图...
airflow-code-editor:Apache Airflow的插件，可让您在浏览器中编辑DAG
04-27
气流代码编辑器插件 的插件，可让您在浏览器中编辑DAG。... git_default_args git参数添加到每个调用中（默认值：-c color.ui = true） git_author_name作者/提交者中易于理解的名称（默认记录的用户的名字和姓
Airflow实战--获取Rest参数并通过Variable传递给Bash算子
zg_hover的专栏
11-16 1361
Airflow实战–获取Rest参数并通过Variable传递给Bash算子 本文介绍如何通过REST API把参数传递给DAG。在DAG内部，如何在Task之间进行参数传递。前面介绍了，如何通过xcom来在dag中不同任务重传递参数，这里介绍如何通过共享变量的方式在各个task之间传递参数。 获取Rest参数并通过Variable传递 以下任务先通过PythonOperator获取到Rest接口的参数，并通过Variable共享变量的方式来把参数传递给后面的任务。而且，这里后面的任务是BashOperat
Airflow1.10.11 之 dag 接收命令行参数
dosrain
07-27 2177
1, 设计思想 有些任务的使用场景，不需要定时定期运行，只需要在特定的条件下，人工触发，顺带传入一些必要的参数，比如处理日期。 那么，我们就设计这样的使用方式: 传入 sday 参数，指定参数值为 20300101 日。 dag 的每一个 task 都接收这个参数。 被 task 调用的 shell 脚本程序，在生成的日志文件名中，包含这个 sday 的值。 2, 编写被 dag 调用的 shell 程序 [root@do-airflow ~]# vi /root/test.script.sh #!/b
Airflow DAG声明的3种方式
厚积薄发
04-30 1042
先说明一下我使用的airflow 2.2.4版本 第一种使用标准构造函数，将dag通过参数传递进去 import pendulum from airflow import DAG from airflow.operators.python import PythonOperator ​ dag = DAG( dag_id='hello_world', start_date=pendulum.datetime(2022, 1, 1), schedule_interval=N...
airflow系列之定时调度Docker自定义镜像并传参
算法小生
05-10 536
本文先讲述笔者DockerOperator的试错过程，后面的KubernetesPodOperator才是最便捷的方式。
bounded task flow间的参数传递
wangqi101023的专栏
08-05 273
比如，当Task Flow A 调用Task Flow B时，传递参数selectCountryName到B中：   1.定义Task FlowB 的Input Parameter 2.在Task FlowA 中&lt;task-flow-call&gt;中加入 &lt;task-flow-call id="flowB"&gt;      &lt;task-flow-reference&...
airflow dag调用实例
qq_29506407的博客
04-11 1569
# -*- coding:utf-8 -*- from datetime import timedelta from airflow import DAG from airflow.contrib.operators.ssh_operator import SSHOperator from airflow.utils.dates import days_ago default_args = { 'owner': 'admin', 'depends_on_past': False, .
【airflow】通过RESTAPI外部触发DAG执行用例(Python)
Felier's Blog
04-08 1399
【airflow】通过RESTAPI外部触发DAG执行用例(Python)
Apache Airflow调度中心发布任务步骤
lihuifen2011的博客
04-22 4212
本文主要介绍如何使用airflow发布和调度任务。airflow可以调度远程(SSH)机器上的bash脚本或发送http请求远程机器提供的任务接口，不仅如此airflow还有可视化的任务调度平台，可以方便直观的查看任务执行情况，并可以随意支配任务执行频次，指定任务间依赖关系等。下面就来具体介绍一下如何使用airflow来发布一个任务 1.首先获取airflow平台（http://10.10....
2.airflow参数简介
weixin_30242907的博客
08-31 819
比较重要的参数： 参数 默认值 说明 airflow_home /home/airflow/airflow01 airflow home,由环境变量$AIRFLOW_HOME决定 dags_folder /home/airflow/airflow01/dags dag python文件目录 ba...
给我一个airflow3.0.2 的示例dag 要求queue=airflow2
最新发布
07-11
<think>我们正在为Airflow 3.0.2创建一个示例DAG，其中需要指定任务队列为"airflow2"。 在Airflow中，我们可以通过设置任务的`queue`参数来指定任务在特定的队列中运行。 首先，我们需要确保在Airflow配置中已经定义了名为"airflow2"的队列。这通常在`airflow.cfg`文件中配置，或者在环境变量中设置。 然后，在DAG文件中，我们可以为每个任务指定`queue`参数。 下面是一个简单的示例DAG，它包含两个任务： 1. 一个打印日期的任务（BashOperator） 2. 一个睡眠5秒的任务（BashOperator） 我们将为这两个任务设置队列为"airflow2"。 注意：在Airflow中，默认的队列是"default"，所以如果我们要使用"airflow2"，需要确保CeleryExecutor（或其他执行器）配置了该队列，并且有worker监听该队列。 另外，我们使用PythonOperator来演示如何设置队列，但实际上任何操作符都可以设置队列。 以下是示例代码：</think>以下是一个适用于 Airflow 3.0.2 的示例 DAG，其中任务队列设置为 `airflow2`： ```python from datetime import datetime, timedelta from airflow import DAG from airflow.operators.bash import BashOperator default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': datetime(2023, 1, 1), 'email_on_failure': False, 'email_on_retry': False, 'retries': 1, 'retry_delay': timedelta(minutes=5), 'queue': 'airflow2' # 设置默认队列为airflow2 } with DAG( 'example_queue_dag', default_args=default_args, description='示例DAG展示队列设置', schedule_interval=timedelta(days=1), catchup=False, tags=['example', 'queue'] ) as dag: # 任务1 - 使用默认队列（继承DAG级别的airflow2设置） task1 = BashOperator( task_id='print_date', bash_command='date', ) # 任务2 - 显式指定队列（覆盖默认设置） task2 = BashOperator( task_id='sleep_task', bash_command='sleep 5', queue='airflow2', # 显式指定队列 ) # 任务3 - 使用PythonOperator演示队列设置 task3 = BashOperator( task_id='final_task', bash_command='echo "任务完成"', queue='airflow2', ) task1 >> task2 >> task3 ``` ### 关键配置说明： 1. **队列设置位置**： - 在 `default_args` 中设置 `'queue': 'airflow2'` 可使所有任务默认使用该队列 - 在单个任务中通过 `queue='airflow2'` 参数覆盖默认设置 2. **前置要求**： ```bash # 启动监听airflow2队列的worker airflow celery worker --queues airflow2 -D ``` 3. **配置文件要求**（`airflow.cfg`）： ```ini [celery] worker_concurrency = 4 default_queue = default # 确保有airflow2队列定义 ``` ### 验证方法： 1. 将DAG文件放入 `$AIRFLOW_HOME/dags` 目录 2. 触发DAG执行： ```bash airflow dags trigger example_queue_dag ``` 3. 在Web UI查看任务执行详情： - 任务详情页的 "Queue" 字段应显示 `airflow2` - Worker日志应包含 `Processing example_queue_dag.<task_id>` 信息 > **重要提示**：实际部署前需确保： > 1. CeleryExecutor 已正确配置 > 2. 存在监听 `airflow2` 队列的worker进程 > 3. 队列名称在 `airflow.cfg` 的 `[celery]` 部分定义[^1][^2]
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值