Apache Airflow 自定义Docker镜像构建指南

沈宝彤

于 2025-05-30 09:09:50 发布

阅读量393

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00533/article/details/148325771

Apache Airflow 自定义Docker镜像构建指南

airflow Airflow 是一款用于管理复杂数据管道的开源平台，可以自动执行任务并监控其状态。高度可定制化、易于部署、支持多种任务类型、具有良好的可视化界面。灵活的工作流调度和管理系统，支持多种任务执行引擎。适用自动化数据处理流程的管理和调度。项目地址: https://gitcode.com/gh_mirrors/ai/airflow

概述

Apache Airflow作为一款强大的工作流编排工具，其官方提供的Docker镜像已经包含了大部分常用功能。但在实际生产环境中，我们通常需要根据业务需求对镜像进行定制化构建。本文将详细介绍如何基于Apache Airflow官方镜像构建符合自身需求的定制化Docker镜像。

为什么需要自定义镜像

官方提供的Airflow镜像虽然功能全面，但在实际应用中可能会遇到以下需求：

需要安装额外的系统级依赖（通过apt）
需要添加额外的Python包（通过pip）
需要预置特定的DAG文件
需要修改默认的Airflow配置
需要集成特定的Provider

直接在运行时安装这些依赖不仅效率低下，还会增加系统的不稳定性。因此，构建自定义镜像是最佳实践。

快速入门场景

添加apt包

以下示例展示了如何在镜像中添加vim编辑器：

FROM apache/airflow:2.6.0
USER root
RUN apt-get update && \
    apt-get install -y --no-install-recommends vim && \
    apt-get autoremove -yqq --purge && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*
USER airflow

关键点：

安装系统包需要使用root用户
安装完成后需切换回airflow用户
清理缓存以减小镜像体积

添加PyPI包

添加单个Python包的示例：

FROM apache/airflow:2.6.0
USER airflow
RUN pip install --no-cache-dir apache-airflow==2.6.0 lxml

注意事项：

必须使用airflow用户安装Python包
建议显式指定Airflow版本以避免依赖冲突
使用--no-cache-dir减少镜像体积

通过requirements.txt添加包

对于多个Python包，推荐使用requirements.txt：

FROM apache/airflow:2.6.0
USER airflow
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

requirements.txt示例内容：

apache-airflow==2.6.0
pandas==1.5.3
numpy==1.24.2

预置DAG文件

将DAG文件直接打包到镜像中：

FROM apache/airflow:2.6.0
USER airflow
COPY test_dag.py /opt/airflow/dags/

示例DAG文件(test_dag.py):

from datetime import datetime
from airflow import DAG
from airflow.operators.dummy import DummyOperator

with DAG(
    dag_id="test_dag",
    start_date=datetime(2021, 1, 1),
    schedule_interval="@daily",
    catchup=False,
) as dag:
    task = DummyOperator(task_id="task")

配置环境变量

通过环境变量配置Airflow：

FROM apache/airflow:2.6.0
USER airflow
ENV AIRFLOW__CORE__LOAD_EXAMPLES=False
ENV AIRFLOW__WEBSERVER__EXPOSE_CONFIG=True

扩展与自定义镜像的选择

| 特性 | 扩展镜像 | 自定义镜像 | |---------------------|----------|------------| | 使用FROM构建 | ✓ | ✗ | | 入门简单 | ✓ | ✗ | | 构建速度快 | ✓ | ✗ | | 镜像体积优化 | ✗ | ✓ | | 支持自定义源码构建 | ✗ | ✓ | | 支持离线环境构建 | ✗ | ✓ |

建议：对于简单需求使用扩展方式，对于复杂需求或生产环境建议使用自定义方式。