使用VS Code开发Apache Airflow项目的完整指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01022/article/details/148325767

使用VS Code开发Apache Airflow项目的完整指南

airflow Airflow 是一款用于管理复杂数据管道的开源平台，可以自动执行任务并监控其状态。高度可定制化、易于部署、支持多种任务类型、具有良好的可视化界面。灵活的工作流调度和管理系统，支持多种任务执行引擎。适用自动化数据处理流程的管理和调度。项目地址: https://gitcode.com/gh_mirrors/ai/airflow

前言

Apache Airflow作为业界领先的工作流编排平台，其开发环境配置对于新接触项目的开发者来说可能有些复杂。本文将详细介绍如何使用VS Code这一流行的代码编辑器来搭建高效的Airflow开发环境，涵盖从项目初始化到调试的完整流程。

环境准备

在开始之前，请确保你已经完成以下准备工作：

安装最新版VS Code
安装Python环境（推荐使用pyenv管理多版本）
安装VS Code的Python扩展（包含Pylance语言服务器）

项目初始化

1. 克隆代码仓库

在VS Code中克隆项目是最便捷的启动方式：

打开VS Code，使用快捷键Ctrl+Shift+P打开命令面板
输入"Git: Clone"并选择该命令
粘贴项目仓库URL并选择本地存储位置

这一过程会建立完整的项目结构，包括核心代码、示例DAG和测试目录。

2. 配置Python环境

Airflow项目采用模块化设计，特别是3.0版本后各provider作为独立分发单元。为正确解析导入路径，需要：

打开VS Code设置（文件 -> 首选项 -> 设置）
切换到工作区设置（仅影响当前项目）
导航至扩展 -> Pylance部分
在Python -> 分析: 额外路径中添加provider的测试目录路径

例如，开发PostgreSQL provider时需要添加：

airflow/providers/postgres/tests

数据库配置

1. 默认数据库设置

Airflow默认使用SQLite数据库，配置位于：

~/airflow/airflow.cfg

关键配置项：

sql_alchemy_conn = sqlite:path/to/airflow.db

2. 切换至MySQL

为获得更好的开发体验，建议使用MySQL：

安装PyMySQL驱动：

pip install PyMySQL

修改配置：

sql_alchemy_conn = mysql+pymysql://root:@127.0.0.1:23306/airflow?charset=utf8mb4

调试配置

1. 调试DAG文件

Airflow的DAG调试需要特殊配置：

将示例DAG从airflow/example_dags复制到files/dags/
在DAG文件末尾添加主程序入口：

if __name__ == "__main__":
    dag.test()

2. VS Code调试配置

创建或修改.vscode/launch.json：

{
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Python: Current File",
            "type": "python",
            "request": "launch",
            "program": "${workspaceFolder}/files/dags/example_bash_operator.py",
            "env": {
                "PYTHONUNBUFFERED": "1",
                "AIRFLOW__CORE__EXECUTOR": "LocalExecutor"
            },
            "pythonPath": "${env:HOME}/.pyenv/versions/airflow/bin/python"
        }
    ]
}

关键配置说明：