airflow设置dag并行运行task个数

最新推荐文章于 2025-10-21 15:17:02 发布

原创最新推荐文章于 2025-10-21 15:17:02 发布 · 3.4k 阅读

3 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

25 篇文章

订阅专栏

本文介绍了Apache Airflow中DAG并发执行任务的配置参数`concurrency`的用法。通过设置`concurrency`，可以指定DAG同时运行的最大任务数量。示例中展示了正确设置该参数的方法：将其放置在`DAG`构造函数内而非`default_args`字典中。

concurrency是设置设置dag并行运行task的个数，但是

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2020,9,13),#任务启动时间点，须小于实际执行的时间的下一个间隔
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'concurrency': 15
}

dag = DAG(
    'tutorial',
    default_args=default_args,
    description='A simple tutorial DAG',
    schedule_interval=timedelta(days=1),
)

写在参数列表时无效的

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2020,9,13),#任务启动时间点，须小于实际执行的时间的下一个间隔
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    
}

dag = DAG(
    'tutorial',
    default_args=default_args,
   concurrency: 15
    description='A simple tutorial DAG',
    schedule_interval=timedelta(days=1),
)

这样写才有效