初探airflow

最新推荐文章于 2025-06-23 15:35:58 发布
最新推荐文章于 2025-06-23 15:35:58 发布
阅读量1.2w 收藏 9
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大数据技术
本文为博主原创文章，未经博主允许不得转载。更多精彩，微信公众号关注: 大数据与实时计算!
本文链接：https://blog.youkuaiyun.com/u013128262/article/details/70940900
airflow是Airbnb开源的data pipeline调度和监控工作流的平台，用于用来创建、监控和调整data pipeline（ETL）。类似的产品有：Linkedin Azkaban

【简述】
Airflow是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作流（即有向无环图或成为DAGs）的工具。在Airbnb中，这些工作流包括了如数据存储、增长分析、Email发送、A/B测试等等这些跨越多部门的用例。这个平台拥有和 Hive、Presto、MySQL、HDFS、Postgres和S3交互的能力，并且提供了钩子使得系统拥有很好地扩展性。除了一个命令行界面，该工具还提供了一个基于Web的用户界面让您可以可视化管道的依赖关系、监控进度、触发任务等。

【优势】
做ETL的同学可能会经常使用脚本（bash/python）+crontab来运行数据处理任务，虽然方便但是存在很多缺陷：
  • 查看任务执行情况不直观方便，只能登录机器、或者写一个界面/监控
  • 存在依赖关系的任务没办法保证，或者保证的方法成本太高
  • 任务量达到一定量级，任务的管理将极其棘手
当然xxx厂数据同学是非常幸运的，因为我们大部分要处理的数据都是存储在xxx的，运用公司的xxx平台（和airflow有点类似）就可以实现大部分数据处理任务的管理。
但是处理非tdw数据时，就可以参考下airflow。

airflow-任务管理
airflow-任务视图，task依赖关系、执行情况一目了然
airflow-代码预览
此外还支持简易报表展示、email通知、大量拓展插件

【实战】
安装&demo，参考：

【核心组件】
元数据库（原生是sqlite，支持MySQL或Postgres等）
Airflow Web服务器（python+flask+Jinja 2 ,简单易学）
调度器scheduler（scheduler轮询task，触发条件后丢给executor去执行）
executor（分为三种模式：sequenceexecutor、localexecutor、celeryexecutor）
pool（类似tdw应用组，包含若干slot）

【依赖关系的解决】
airflow主要是data pipeline调度和监控工作流的平台，由于其优秀的设计，可以用于应对复杂的依赖问题。
调度系统常常要考虑的依赖问题有：
  • 时间依赖：何时执行任务
  • 环境依赖：执行task所需要的环境，如python版本
  • 任务关系依赖：任务间的父子依赖
  • 资源依赖：当资源达到一定瓶颈时，任务处于等待状态
  • 权限依赖：谁能执行任务
airflow是这样解决这些问题的：
  • 时间依赖：类似crontab，也支持直接使用python的datatime
  • 环境依赖：sequenceexecutor、localexecutor下不需要考虑这个问题（单机），CeleryExecuter下可以使用不同的用户启动Worker，不同的Worker监听不同的Queue。同一worker下的执行环境是一致的。
  • 任务关系依赖：Airflow的核心概念，是DAG(有向无环图)，DAG由一个或多个TASK组成。多个Task之间的依赖关系可以很好的用DAG表示完善
  • 资源依赖：任意一个Task指定一个抽象的Pool（类似tdw应用组），每个Pool可以指定一个Slot数。每当一个Task启动时，就占用一个Slot，当Slot数占满时，其余的任务就处于等待状态。
  • 权限依赖：a.web服务器的鉴权，b.CeleryExecuter下可以使用不同的用户启动Worker

【落地场景】
1、开箱即用的ETL调度管理平台（有点类似lhotse）
2、运维/作业管理平台（原生不擅长海量机器作业，不过有mesos插件）
3、调度平台设计（基于python实现的调度系统，设计理念可以用于很多调度平台）



外部资料：

2024年12月数据月报
SmartSi
01-04 1849
2024年12月大数据月报，为您准备了阿里、字节、百度等大厂150多篇实践案例
2024年06月数据月报
SmartSi
07-06 980
2024年06月数据月报，为您准备了阿里、字节、百度等大厂130+篇实践案例
Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）
Java与大数据相关实践内容分享！
01-25 1642
Airflow官网Quick Start实操（一篇学会部署Airflow）
【airflow实战系列】 基于 python 的调度和监控工作流的平台
Qcloud_KID的博客
05-01 6594
简介 airflow 是一个使用python语言编写的data pipeline调度和监控工作流的平台。Airflow被Airbnb内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用Python来编写的平台上运行。 Airflow是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作流（即有向无环图或成为DAGs）的工具。在Airbnb中，这些工作流包括了如数据存储、增
Apache Airflow：让你的数据工作流飞起来！[特殊字符]
webwhisperer的博客
06-23 951
你用 Python 写好任务流程图 (DAG) -> Scheduler 按规则读图排计划 -> Executor (带着 Workers) 执行计划 -> 所有状态和结果记录在元数据库 -> 你通过 Web UI 美滋滋地掌控一切！搞定！
Airflow：使用FileSensor监控文件系统
neweastsun的专栏
01-06 944
FileSensor是Apache Airflow中的一个Sensor，它监视文件系统中指定文件的存在。它继承自BaseSensorOperator类，并通过连续检查文件是否存在来工作，直到找到该文件，或者达到指定的超时。在任务依赖于外部文件的情况下，或者在转到下一个任务之前需要确保文件生成或可用的情况下，FileSensor特别有用。Airflow FileSensor 主要用于监测文件系统中文件或目录的状态变化。数据处理场景。
airflow metrics 监控部署(grafana+ prometheus)
奔跑的蜗牛的博客
07-04 2929
本文主要总结了 airflow metrics 监控部署的方案以及个人经验分享。 指标监控采用的是业界比较成熟的 prometheus + grafana 的方案。
Airflow调度源码分析
nia305的博客
11-29 832
文章目录主要的调度源码进程关系 主要的调度源码 主要的调度循环： jobs/scheduler_jobs.py 里面的 _execute()函数 _execute() 里面的 self.executor.start()函数是主要的executor逻辑，executor里面会启动N个worker（executors/local_executor.py QueuedLocalWorker），这些worker是进程,所有的worker都从同一个公共队列里面取命令来运行，运行的时候会再开一个子进程来执行命令。某个
PyPI 官网下载 | apache-airflow-providers-influxdb-1.0.0rc1.tar.gz
01-09
《PyPI上的Apache Airflow Providers for InfluxDB 1.0.0rc1初探》 在Python的世界里，PyPI（Python Package Index）是最重要的软件仓库，它为开发者提供了无数的模块和库，便于他们构建和扩展项目。这次我们要探讨...
airflow 部署
08-28
- *1* [airflow初探（一）-- 安装和部署](https://blog.youkuaiyun.com/hpugym/article/details/89476480)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...
什么是oozie？初探大数据调度工具
# 1. 大数据调度工具概述 ## 1.1 什么是大数据调度工具 在大数据处理领域，大数据调度工具是指用于管理、调度和监控大数据处理任务的软件工具。这些工具可以帮助开发人员和数据工程师在复杂的大数据处理流程中实现...
apache-airflow-data-pipeline:该项目包括定制的气流操作员，以执行任务，例如暂存数据，填充数据仓库以及对数据进行检查，这是最后一步
04-18
项目概述：带有气流的数据管道 一家音乐流媒体公司Sparkify决定是时候对其数据仓库ETL管道引入更多的自动化和监视功能，并得出结论，实现这一目标的最佳工具是Apache Airflow。 他们决定将您带入项目，并期望您创建动态的，由可重用任务构建，可监控并允许轻松回填的高级数据管道。 他们还指出，在数据仓库顶部执行分析并希望在执行ETL步骤以捕获数据集中的任何差异之后针对其数据集运行测试时，数据质量起着重要作用。 源数据位于S3中，需要在Amazon Redshift中的Sparkify数据仓库中进行处理。 源数据集由JSON日志（有关应用程序中的用户活动）和有关用户收听的歌曲的JSON元数据组成。 项目要求 为了完成项目，您将需要创建自己的自定义操作员来执行诸如暂存数据，填充数据仓库以及对数据进行检查等任务，这是最后一步。 数据集 对于此项目，您将使用两个数据集。 这是每个的s3
Airflow核心源码解读
DataCareer的博客
02-19 1509
注意：本文基于Airflow 1.10解读源码 Airflow目前已经成为主流的作业调度工具，支持本地调度、分布式调度、Kubernetes调度。Airflow虽然使用Python实现，但功能依然很强大，其配置参数也多达250个。其中很多核心参数在官方文档解释的并不清楚，所以就不得不看源码。以下内容就是我讲解了Airflow Scheduler的实现原理以及相关的参数作用。 正文 Airflow总体架构应该可以解读为四个部分:Schelduer、Excutor、DAGFileProcessorManag.
[译] 理解 Apache Airflow 的关键概念
weixin_34150224的博客
08-21 671
原文地址：Understanding Apache Airflow’s key concepts 原文作者：Dustin Stansbury 译文出自：掘金翻译计划 本文永久链接：github.com/xitu/gold-m… 译者：Starrier 校对者：yqian1991 四部分系列的第三系列 在 Quizlet 的寻找最优工作流管理系统的第一部分和第二部分中，我们促进了现代商业实践...
Apache Airflow指标监控实践
Young2018的博客
05-23 4121
Apache Airflow官方提供了statsd的指标采集功能，我们可以基于statsd来监控Airflow集群整体的运行情况，结合Prometheus及Grafana对采集的指标进行展示并设置告警功能，保障Airflow集群在出现故障的时候能够及时的处理。 1.Airflow集群指标采集及数据展示整体流程 整个采集流程分为3个大的步骤: a.在安装statsd并且在airflow.cfg开启statsd后，Airflow集群会推送相关监控的指标到指定的statsd server中 b.我们使
Apache Airflow (一) ： Airflow架构、术语、工作原理
qq_32020645的博客
11-08 5094
Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。
airflow源码分析-任务调度器实现分析
zg_hover的专栏
04-05 1745
本文介绍Airflow执行器的总体实现流程。通过函数调用的方式说明了Airflow scheduler的实现原理，对整个调度过程的源码进行了分析。 通过本文，可以基本把握住Airflow的调度器的运行原理主线。
airflow源码精读 六
u013010890的博客
03-11 441
trigger_rule【all_success | all_failed | all_done | one_success】表示对于上游算子 的依赖；接受的cli命令通过在args根据给定命令匹配到指定的Arg(tuple数组)，在以Arg名称去subparsers匹配到相应的执行函数func。wait_for_downstream表示当且上次的dagrun的下游算子完成之后，才能触发该次算子运行。算子本身可以是一个dag图，运行时会占用一定资源，以虚拟的。算子与算子之间，不能直接通信。
助力工业物联网，工业大数据之服务域：AirFlow的介绍【三十一】
Maynor的博客
08-15 414
目标了解AirFlow的功能特点及应用场景路径step1：背景step2：设计step3：功能step4：特点step5：应用实施起源2014年，Airbnb创造了一套工作流调度系统：Airflow，用来替他们完成业务中复杂的ETL处理。从清洗，到拼接，只用设置好一套Airflow的流程图。2016年开源到了Apache基金会。2019年成为了Apache基金会的顶级项目：http://airflow.apache.org/。设计。
Airflow
最新发布
07-31
<think>我们正在处理用户关于Apache Airflow工作流管理使用指南的请求。根据提供的引用资料，我们可以总结以下关键点： - Airflow是一个用于编程、调度和监控工作流的平台（引用[1]和引用[3]）。 - 它使用Python代码定义任务依赖关系，以有向无环图（DAG）的形式管理数据处理流水线（引用[3]）。 - Airflow提供了REST API和Python客户端库（引用[2]）用于交互式管理。 用户需要的是使用指南，因此我们将从基础开始，逐步介绍如何使用Airflow进行工作流管理。 ### 回答结构： 1. **Airflow核心概念**：解释DAG、任务、算子等基本概念。 2. **安装与配置**：简要介绍安装步骤（基于引用[1]）。 3. **创建第一个DAG**：通过一个简单示例展示如何定义工作流。 4. **Airflow的Web界面**：介绍如何监控和管理工作流。 5. **进阶功能**：提及一些高级特性如变量、连接、执行器等。 6. **API与客户端**：介绍如何使用REST API和Python客户端（引用[2]）。 7. **最佳实践与常见问题**：提供一些使用建议。 ### 注意事项： - 使用中文回答。 - 数学公式（如果有）按规则使用$...$或$$...$$。 - 生成相关问题。 现在开始编写回答：</think>### Apache Airflow 工作流管理使用指南 Apache Airflow 是一个开源的工作流调度和监控平台，通过 Python 代码定义任务依赖关系，以**有向无环图（DAG）** 的形式管理数据处理流水线[^3]。以下是核心使用指南： --- #### 1. **核心概念** - **DAG（有向无环图）**：工作流的基本单位，由任务和依赖关系组成 - **Operator（算子）**：定义单个任务的执行逻辑（如 `PythonOperator`, `BashOperator`） - **Task**：Operator 的实例，代表具体执行单元 - **Task Dependency**：通过 `>>` 符号定义任务顺序（如 `task1 >> task2`） --- #### 2. **安装与初始化** ```bash # 安装 Airflow pip install apache-airflow # 初始化数据库 airflow db init # 创建管理员用户 airflow users create --username admin --password admin --firstname Admin --lastname User --role Admin --email admin@example.com # 启动 Web 服务器 airflow webserver --port 8080 # 启动调度器 airflow scheduler ``` > 访问 `http://localhost:8080` 登录 Web UI[^1] --- #### 3. **创建第一个 DAG** 在 `airflow/dags/` 目录下创建 `my_first_dag.py`： ```python from airflow import DAG from airflow.operators.bash import BashOperator from datetime import datetime with DAG( dag_id="hello_world", start_date=datetime(2023, 1, 1), schedule_interval="@daily" ) as dag: task1 = BashOperator( task_id="print_date", bash_command="date" ) task2 = BashOperator( task_id="echo_msg", bash_command='echo "Airflow is running!"' ) task1 >> task2 # 定义依赖关系 ``` - **Web UI 操作**：激活 DAG → 触发运行 → 查看任务日志[^3] --- #### 4. **关键功能实践** - **任务依赖控制**： ```python task1 >> [task2, task3] # 任务1完成后并行执行任务2和3 task3 >> task4 # 任务3完成后执行任务4 ``` - **参数传递**：使用 `XCom` 跨任务共享数据 - **错误处理**：设置 `retries` 和 `retry_delay` 实现自动重试 - **监控告警**：配置 `on_failure_callback` 发送邮件/钉钉通知 --- #### 5. **进阶功能** - **REST API**：通过 `apache-airflow-client-python` 管理 DAG[^2] ```python from airflow_client.client.api import dag_api from airflow_client.client import Configuration conf = Configuration(host="http://localhost:8080/api/v1") api = dag_api.DAGApi(conf) print(api.get_dags()) # 获取所有 DAG 信息 ``` - **执行器选择**：支持 `LocalExecutor`（单机）/ `CeleryExecutor`（分布式） - **集成扩展**：支持 KubernetesExecutor、DockerOperator 等容器化方案 --- #### 6. **最佳实践** 1. **DAG 设计原则**： - 单一职责：每个 DAG 专注一个业务目标 - 幂等性：任务可重复执行且结果一致 - 超时设置：避免僵尸任务 2. **性能优化**： - 使用 `@task` 装饰器简化 Python 任务 - 启用 `Pools` 控制并发资源 3. **安全配置**： - 加密敏感变量（`airflow connections add --conn-extra`） - 启用 RBAC 角色权限控制 > 生产环境建议使用 PostgreSQL 作为元数据库，并定期清理历史数据[^1] --- #### 7. **调试与排查** - **常见错误**： - DAG 未显示：检查文件语法错误或 `airflow list_dags` - 任务卡住：确认执行器资源是否充足 - **日志定位**： ```bash airflow tasks logs hello_world print_date --dag hello_world ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值