Apache Airflow (二) ： Airflow单机搭建

Airflow单机部署与Python3.7环境配置详解,
最新推荐文章于 2025-11-07 09:34:06 发布
最新推荐文章于 2025-11-07 09:34:06 发布
阅读量869 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 任务流调度工具 文章标签： Airflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_32020645/article/details/134299675
本文详细介绍了如何在Linux环境下安装Anconda，配置Python3.7环境，以及如何在单机上安装和配置Airflow，包括依赖项、数据库设置、用户管理和启动webserver与scheduler的过程。

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客

 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频

目录

1. 安装Anconda及python3.7

2. 单机安装Airflow

​​​​​​​3. 启动Airflow

Airflow是基于Python的，就是Python中的一个包。安装要求Python3.6版本之上，Metadata DataBase支持PostgreSQL9.6+，MySQL5.7+，SQLLite3.15.0+。

​​​​​​​1. 安装Anconda及python3.7

1） 官网下载Anconda ,选择linux版本，并安装

下载官网地址：https://www.anaconda.com/products/individual#macos

2） 将下载好的ancond

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Apache Airflow (一) ： Airflow架构、术语、工作原理
qq_32020645的博客
11-08 5339
Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。
一文读懂Apache Airflow：管道编排的得力助手
2501_90323865的博客
05-30 213
在Python生态系统里，Apache Airflow已然成为管道编排事实上的标准库。与类似解决方案相比，它凭借简洁性和可扩展性赢得了广泛青睐。
Apache Airflow快速入门
qq_44460210的博客
05-22 640
本文会指导你在本地环境启动一个Airflow的单例应用参考本文，Airflow的安装就很简单。Airflow通过约束文件来支持重复安装，因此推荐使用pip和约束文件进行安装。设置Airflow安装目录（可选）Airflow使用~/airflow作为默认安装目录，你也可以通过设置变量来自定义位置。注意设置安装目录必须在安装之前。使用官方定义的约束文件安装Airflow$(-c启动Airflow单例应用该指令包括了初始化数据库，创建admin用户，以及启动所有的组件打开Airflow UI页面。
数据中台工作流编排引擎：Apache Airflow
最新发布
软件行业技术文化交流。
11-07 769
Apache Airflow是一款开源工作流编排平台，支持通过Python代码定义、调度和监控DAG任务。它具有可视化监控、分布式执行、可扩展架构等核心能力，被Google Cloud、AWS等广泛采用。适用于批处理任务调度，但不适合实时流处理。通过5个步骤即可快速创建包含数据库查询和邮件通知的工作流。生产环境推荐使用KubernetesExecutor或CeleryExecutor，配合PostgreSQL和S3存储。Airflow已成为数据工程领域的主流工具，是构建可靠数据管道的理想选择。
简述Apache Airflow：分布式工作流调度与管理利器
cnzzs的博客
11-18 1413
目录什么是 Apache Airflow?核心概念与架构DAGOperatorsTasksExecutorsAirflow 的安装与配置环境要求安装步骤Airflow 示例项目简单任务调度使用 PythonOperator 实现数据处理任务集成外部工具：MySQL 和 S3Airflow 的高级功能自定义 Operator...
Apache Airflow
Casual_Lei的博客
09-17 1131
Airflow 作为数据工作流管理工具，提供了灵活、可扩展的任务调度和管理能力，特别适合需要处理复杂任务依赖和数据管道的场景。通过其代码定义工作流、丰富的 Operator、灵活的调度能力和可视化界面，Airflow 已成为现代数据工程中不可或缺的工具之一。
Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程
2401_87298459的博客
09-21 528
但如果您喜欢，可以设置一个不同的位置。AIRFLOW_HOME环境变量用于通知Airflow所需的位置。设置环境变量的这一步应该在安装Airflow之前完成，以便安装过程知道在哪里存储必要的文件。以守护进程模式运行意味着该进程将在后台持续运行，而不占用当前终端。在浏览器中访问localhost:8080，并使用终端显示的管理员帐户详细信息登录。菜单中的UI检查该文件。如果由systemd启动webserver的PID将存储在。的文件，这将使您快速运行。在运行这些命令后，Airflow将创建。
Docker安装airflow（超详细）单机，集群部署教程
Without_1113的博客
06-21 2018
基于这个项目 ：git clone https://github.com/puckel/docker-airflow 上图的文件解压后如图： ### 更改配置文件vim airflow.cfg ### 文件移动 docker-airflow底下所有文件放进 /usr/local/airflow docker的安装这里不再列出参考：https://www.runoob.com/docker/centos-docker-install.html 启动：docker-compose -..
Apache Airflow2.2.4
一名假的程序猿
11-22 744
airflow
Apache Airflow 使用指南
gitblog_00926的博客
09-07 600
Apache Airflow 是一个开源的工作流管理平台，用于编排和调度复杂的数据管道。它允许用户通过 Python 脚本定义工作流，并使用有向无环图（DAG）来表示任务之间的依赖关系。Airflow 提供了强大的调度、监控和日志记录功能，适用于各种数据处理和ETL（提取、转换、加载）任务。 ## 2. 项目快速启动 ### 安装 Airflow 首先，确保你已经安装了 Python 和 p...
Apache Airflow (incubating) Documentation
11-24
Apache Airflow (incubating) Documentation
任务编排和调度神器：Apache Airflow
we chat：玩转测试开发
05-14 2980
例如，你可以使用Airflow来定义和调度一个ETL工作流，这个工作流从多个数据源提取数据，将数据进行清洗和转换，然后将数据加载到数据仓库中。感受：Airflow 的一个关键特性是它的编程模型，这使得工作流可以作为代码来编写和管理，从而使得任务的复杂逻辑更易于理解和维护。此外，Airflow 还具有强大的调度和监控功能，使得你可以轻松地调度任务、监控任务运行状态，并在任务失败时接收警报。5、Airflow的Web界面可以提供很多有用的信息，但是它并不适合用来进行复杂的操作，例如修改DAG或任务的定义。
Apache Airflow 开源最顶级的分布式工作流平台
u010830473的博客
10-25 696
Apache Airflow（或简称Airflow）是一个以编程方式创作，计划和监视工作流的平台。当工作流定义为代码时，它们将变得更加可维护、可版本控制、可测试和协作。使用 Airflow 将工作流创作为任务的有向无环图 （DAG）。Airflow 调度程序在遵循指定的依赖项的同时，在一组工作线程上执行您的任务。丰富的命令行实用程序使在 DAG 上执行复杂的手术变得轻而易举。丰富的用户界面使您可以轻松可视化生产中运行的管道、监视进度并在需要时解决问题。
Apache Airflow实践：Airflow项目介绍及代码解析
AI天才研究院
08-14 917
Apache Airflow是一个开源的基于Python的工作流调度框架，可用于数据管道、ETL、数据分析等工作流程自动化，并提供Web界面进行管理。本文将对Apache Airflow进行介绍，并阐述其实现方式及一些重要模块的设计理念。
【《Apache Airflow 数据编排实战》——一本使用Airflow创建、编写、调度和监控工作流的上佳指南】
清图出版
07-24 689
《Apache Airflow 数据编排实战》通过4部分深入浅出地介绍了什么是Airflow,如何部署和使用Airflow, 并涉及许多深入的主题，让你对Airflow 能够有全面的了解，并且在本书的第I部分，为大家提供了许多实用的案例，让你能够快速使用Airflow解决工作中遇到的各种数据流处理问题。现在是云的时代，在本书的第IV部分介绍了大量的上云示例，让你能够轻松地使用Airflow管理各种本地、云端或者二者混合在- -起的数据流。
Introduction to Apache Airflow-Airflow简介
DevOps持续集成的博客
10-15 646
Introduction to Apache AirflowWhat is Apache Airflow?什么是Airflow？Airflow is a platform to programmatically author, schedule and monitor workflows.These functions achieved with Directed Acyclic Graphs (...
Apache Airflow 快速入门教程
neweastsun的专栏
11-30 2607
Apache Airflow 是一个开源的平台，用于编排、调度和监控工作流，工作流是由一系列任务（Tasks）组成的，这些任务可以是数据处理、数据分析、机器学习模型训练、文件传输等各种操作。因此，它是ETL和MLOps用例的理想解决方案。从多个数据源提取数据，对其进行聚合、转换，并将其存储在数据仓库中。从数据中提取见解并将其显示在分析仪表板中训练、验证和部署机器学习模型。
Apache Airflow：让你的数据工作流飞起来！[特殊字符]
webwhisperer的博客
06-23 1941
你用 Python 写好任务流程图 (DAG) -> Scheduler 按规则读图排计划 -> Executor (带着 Workers) 执行计划 -> 所有状态和结果记录在元数据库 -> 你通过 Web UI 美滋滋地掌控一切！搞定！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值