Airflow 中Operator

在 Apache Airflow 中，Operator 是定义任务的核心组件。每个 Operator 代表一个具体的任务类型，例如运行 Python 脚本、执行 Bash 命令、调用 HTTP 接口等。以下是几种常用 Operator 的详细介绍：

---

1. DummyOperator

• 作用：

  • DummyOperator 是一个空任务，不执行任何实际操作，通常用于占位或控制任务流的依赖关系。

  • 它常用于标记任务流的开始或结束，或者作为条件分支的占位符。

  • 可以通过 DummyOperator 控制下游或上游任务的 clear 或 mark success 操作。

• 使用场景：

  • 占位任务，用于构建复杂的工作流结构。

  • 控制任务流的依赖关系。

• 示例：

  from airflow import DAG
  from airflow.operators.dummy import DummyOperator
  from datetime import datetime
  
  dag = DAG(
      'dummy_example',
      start_date=datetime(2023, 1, 1),
      schedule_interval='@daily',
  )
  
  start = DummyOperator(task_id='start', dag=dag)
  end = DummyOperator(task_id='end', dag=dag)
  
  start >> end

---

2. PythonOperator

• 作用：

  • PythonOperator 用于执行 Python 函数。