Airflow：Airflow子流程应用实践

最新推荐文章于 2025-06-23 02:51:40 发布

梦想画家

最新推荐文章于 2025-06-23 02:51:40 发布

阅读量832

点赞数 28

CC 4.0 BY-SA版权

分类专栏：数据分析工程 # Airflow # python 文章标签： airflow 数据集成数据工程

本文链接：https://blog.youkuaiyun.com/neweastsun/article/details/145369530

数据分析工程同时被 3 个专栏收录

276 篇文章

订阅专栏

python

255 篇文章

订阅专栏

Airflow

28 篇文章

订阅专栏

Apache Airflow是一个强大的开源平台，用于以编程方式编写、调度和监控工作流。它的一个强大功能是使用子DAG（子有向无环图）创建复杂工作流的能力，子DAG本质上是在父DAG中更小的嵌套DAG。在这篇博文中，我们将深入探讨sub-dag的概念，探索它们的好处，如何创建它们，以及管理和组织工作流的最佳实践。

在这里插入图片描述

理解SubDAG

子DAG是嵌入在另一个DAG中的有向无环图（DAG）。它允许用户将复杂的工作流分解成更小、更易于管理的部分。这种模块化方法促进了工作流中任务和依赖关系的可重用性、可维护性和组织性。子dag可用于各种目的，例如：

在DAG中组织任务
封装任务组，以便跨多个dag重用
将大型工作流分解为较小的部分，以实现更好的并行化和资源分配

创建SubDAG

要创建SubDAG，需要定义返回airflow.models.SubDagOperator实例的函数。该操作符接受以下参数：

subdag：表示子DAG的DAG对象
task_id：父DAG中SubDAG操作符的唯一标识符
schedule_interval: SubDAG任务的调度周期

from airflow import DAG 
from airflow.operators.subdag import SubDagOperator 
from datetime import datetime 

def create_subdag(parent_dag_name, child_dag_name, args): 
    dag_subdag = DAG( 
        dag_id=f'{parent_dag_name}.{child_dag_name}', 
        default_args=args, 
        schedule_interval="@daily", 
    ) 
    
    # Define tasks within the SubDAG here 
    
    return dag_subdag 
    
# Parent DAG definition 
with DAG(dag_id='parent_dag', start_date=datetime(2023, 1, 1), schedule_interval="@daily") as dag: 
    start_task = DummyOperator(task_id='start_task') 
    end_task = DummyOperator(task_id='end_task') 
    
    subdag_task = SubDagOperator( 
        task_id='subdag_task', 
        subdag=create_subdag('parent_dag', 'subdag_task', dag.default_args), 
        dag=dag, 
    ) 
    
    start_task >> subdag_task >> end_task

SubDAG最佳实践

为了最大化使用SubDAG的好处，请遵循以下最佳实践：

模块化：将SubDAG设计为独立的，专注于单一目的。这促进了可重用性和可维护性。
命名规范：对SubDAG及其操作符采用一致的命名约定。这使得识别和排除问题变得更加容易。
并行化：为了提高性能，在设计SubDAG时要考虑到并行化。将SubDAG中的任务实例配置为在可能的情况下并行运行。
错误处理：在SubDAG中实现错误处理和重试，以确保您的工作流对失败具有弹性。

限制和考虑

尽管使用SubDAG有很多好处，但也有一些限制和注意事项需要牢记：

SubDAG可能会引入额外的复杂性，使其更难以理解和排除您的工作流。
与扁平DAG结构中的任务相比，子DAG中的任务执行可能会略微增加开销。
避免深度嵌套的subdag，因为这会导致混乱，并使管理工作流变得更加困难。

SubDAG的替代者：TaskGroup

在Apache Airflow 2.0中，TaskGroup特性作为subdag的替代方案被引入，用于在DAG中组织任务。TaskGroups提供了一种在Airflow UI中可视化地分组任务的方法，使其更容易导航和理解复杂的工作流。

taskgroup提供了一些优于SubDAG的优势：

更容易实现和理解，因为TaskGroup中的任务是同一个DAG的一部分。

任务执行期间的开销更少，因为任务组不引入额外的调度和执行层。
改进的UI体验，可折叠的任务组视图。
要创建TaskGroup，只需在DAG定义中使用TaskGroup上下文管理器：

from airflow import DAG 
from airflow.operators.dummy import DummyOperator 
from airflow.utils.task_group import TaskGroup 
from datetime import datetime 

with DAG(dag_id='parent_dag', start_date=datetime(2023, 1, 1), schedule_interval="@daily") as dag: 
    start_task = DummyOperator(task_id='start_task') 
    end_task = DummyOperator(task_id='end_task') 
    
    with TaskGroup(group_id='task_group') as task_group: 
        task1 = DummyOperator(task_id='task1') 
        task2 = DummyOperator(task_id='task2') 
        task3 = DummyOperator(task_id='task3') 
        
        task1 >> task2 >> task3 
        
    start_task >> task_group >> end_task

两者概念区别

在 Apache Airflow 中，子流程（SubDAG）和任务分组（TaskGroup）都是用于组织和管理工作流的方式，但它们在概念、实现和应用场景上存在一些区别，以下为你详细介绍：

概念与实现

子流程（SubDAG）：子流程本质上是一个独立的 DAG（有向无环图），它被嵌套在另一个主 DAG 中作为一个子组件。子流程有自己独立的任务集合、调度设置和依赖关系，在主 DAG 里它被当作单一的任务节点。子流程可以有自己的配置，包括不同的执行器、任务池等。
任务分组（TaskGroup）：任务分组是一种逻辑上的组织方式，它只是将多个相关的任务组合在一起，形成一个视觉上和逻辑上的分组，并没有创建新的 DAG。任务分组只是在 Airflow 的 UI 界面上进行展示优化，任务之间的依赖关系和执行逻辑仍然在主 DAG 中定义。

性能与资源管理

子流程（SubDAG）：由于子流程是独立的 DAG，它会创建自己的任务实例，这可能会导致额外的调度开销。每个子流程都需要单独的资源来执行，可能会增加资源的使用量。
任务分组（TaskGroup）：任务分组只是逻辑上的分组，不会创建额外的任务实例，因此不会增加调度开销和资源使用量。

依赖管理

子流程（SubDAG）：子流程作为一个整体与主 DAG 中的其他任务建立依赖关系，子流程内部的任务依赖关系在子流程内部定义。这种方式可以将复杂的依赖关系封装在子流程中，使主 DAG 的结构更加清晰。
任务分组（TaskGroup）：任务分组中的任务仍然直接与主 DAG 中的其他任务建立依赖关系，任务分组本身不影响任务之间的依赖关系。

两者应用场景

子流程（SubDAG）的应用场景

复用性需求：当有一组任务在多个 DAG 中重复使用时，可以将这些任务封装在一个子流程中，然后在不同的 DAG 中引用该子流程，提高代码的复用性。例如，在多个数据处理流程中都需要对数据进行清洗和预处理，就可以将这部分任务封装成一个子流程。
复杂逻辑封装：对于一些复杂的业务逻辑，将其拆分成多个子流程可以使主 DAG 的结构更加清晰，易于维护。比如，一个大型的数据分析项目，包含数据采集、数据处理、模型训练和结果评估等多个阶段，每个阶段可以封装成一个子流程。
资源隔离：如果某些任务需要特殊的资源或配置，可以将这些任务放在一个子流程中，并为子流程分配独立的资源，实现资源的隔离和优化。

任务分组（TaskGroup）的应用场景

可视化优化：当 DAG 中的任务数量较多，关系复杂时，使用任务分组可以将相关的任务组织在一起，使 Airflow 的 UI 界面更加清晰，便于查看和管理。例如，一个电商平台的订单处理流程，包含订单创建、支付处理、库存更新等多个任务，可以将这些任务分组展示。
逻辑组织：在一个 DAG 中，将具有相同业务逻辑或功能的任务分组在一起，有助于开发者理解和维护代码。比如，将所有的数据清洗任务分组，将所有的数据分析任务分组。

最后总结

Apache Airflow SubDAG提供了一种强大的方式来组织和管理复杂的工作流。通过将大型工作流分解成更小、更易于管理的部分，可以提高任务的可维护性、可重用性和并行性。但是，必须了解有效使用SubDAG的限制和最佳实践。此外，在单个DAG中组织任务时，可以考虑使用taskgroup作为subdag的替代方案，以获得更简单、更直观的体验。