大数据调度平台 Airflow（三）：Airflow 单机搭建

最新推荐文章于 2025-09-24 09:12:43 发布

原创

最新推荐文章于 2025-09-24 09:12:43 发布 · 786 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

本文详细介绍了如何在Linux环境中使用Anconda安装Python3.7，并通过conda创建和激活Python环境。然后，文章讲解了安装Airflow所需系统依赖，配置MySQL数据库以供Airflow使用，以及安装和初始化Airflow的过程。最后，文章阐述了启动Airflow的webserver和scheduler的步骤，并创建了管理员用户。

Airflow 单机搭建

Airflow 是基于 Python 的，就是 Python 中的一个包。安装要求 Python3.6 版本之上，Metadata DataBase 支持 PostgreSQL9.6+，MySQL5.7+，SQLLite3.15.0+。

一、安装 Anconda 及 python3.7

1、官网下载 Anconda ,选择 linux 版本，并安装

下载官网地址：https://www.anaconda.com/products/individual#macos

2、将下载好的 anconda 安装包上传至 mynode4 节点，进行安装

sh Anaconda3-2020.02-Linux-x86_64.sh  【一路回车即可】Do you accept the license terms? [yes|no]Yes【继续回车】... ...Anaconda3 will now be installed into this location:/root/anaconda3
  - Press ENTER to confirm the location  - Press CTRL-C to abort the installation  - Or specify a different location below
[/root/anaconda3] >>> 【回车即可，安装到/root/anaconda3路径下】... ...Do you wish the installer to initialize Anaconda3by running conda init? [yes|no][no] >>>yes【输入yes,回车即可】... ...【安装完成】

复制代码

3、配置 Anconda 的环境变量

在 /etc/profile中加入以下语句：export PATH=$PATH:/root/anaconda3/bin

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wrr-cat

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python代码实现：使用Airflow进行任务流程自动化

木头大左的博客

03-12

484

在Airflow中，所有任务都是通过DAG（Directed Acyclic Graph，有向无环图）来组织的。一个DAG定义了一系列的任务及其执行顺序。start_task和end_task。任务之间用>>操作符连接，表示执行顺序。

从零开始搭建企业级大数据OLAP平台

AI天才研究院

08-22

957

OLAP是一种专为支持复杂分析查询而设计的技术，它允许用户从多个维度对大量数据进行快速、灵活的查询和分析。OLAP的核心价值在于将复杂的数据关系转化为直观的业务洞察，使非技术人员也能轻松探索数据。想象一家电商企业的销售数据，如果只看总销售额这个单一指标，你只能知道"卖了多少"。但通过OLAP分析，你可以同时从时间（时维）、产品（产品维）、地区（地区维）、客户（客户维）等多个维度分析：“华东地区25-35岁女性客户在第四季度购买化妆品类产品的客单价变化趋势”。这种多维度交叉分析能力正是OLAP的核心优势。

参与评论您还未登录，请先登录后发表或查看评论

【Airflow】光速入门指南

jocelyn_hhhhhh的博客

11-06

5709

Airflow中最为关键的概念就是DAG，中文名称是有向无环图(Directed Acyclic Graph)一个DAG代表着一个较为完整的流程，其中的组成部分是执行不同步骤的Task。如果说DAG是一条珍珠项链，那么TASK就是其中的珍珠。珍珠项链可以有不同的形态、数量和组合方式，DAG和TASK也是同理。#方式一：类的实例化test_task = PythonOperator( #以PythonOperator为例，也可以定义使用其他的Operator。

大数据调度平台 Airflow（五）：Airflow 使用

wr_java的博客

04-17

2379

以上 python 文件就是 Airflow python 脚本，使用代码方式指定 DAG 的结构。

Apache Airflow入门教程：工作流调度平台全攻略

最新发布

2501_93501791的博客

09-24

2368

Apache Airflow入门指南：从零开始构建数据工作流摘要：本文介绍了Apache Airflow这一开源工作流调度工具的入门知识。主要内容包括：1) Airflow的核心概念DAG（有向无环图）和Operators（操作器）；2) 安装步骤和基本配置；3) 创建第一个DAG的详细示例；4) 实用的Airflow技巧，如变量存储、连接管理、任务间数据传递等。Airflow通过Python代码定义工作流，提供可视化监控界面，支持复杂任务调度和依赖管理，是数据工程和自动化任务的强大工具。文章适合初学者快

Airflow实战--安装配置（单机）

zg_hover的专栏

11-14

2291

Airflow安装配置（单机）安装配置注意：python的版本必须是python3+，我用的是python3.7这个版本。 pip install apache-airflow 通过该命令即可安装成功。这样安装好后，我的airflow的执行文件在目录下： /Users/xhz/opt/anaconda3/envs/py37/bin 注意：由于我是使用anaconda3来管理python环境的，这里可以自己通过find命令来搜一下airflow这个命令的位置。把airflow的可执行程序的路径添加到

Airflow--基于conda的单机版安装过程

penriver的博客

02-17

2318

Apache Airflow是一个开源的以编程方式编写、调度和监控工作流的平台。工作流使用代码进行定义，让它们变得更加可维护、可版本化、可测试和协作性。本文基于conda，讲解Airflow的单机版安装过程

大数据入门与实践指南：技术栈、常用软件安装及Hadoop、Hive与Spark应用

2. **大数据平台**: 学习搭建和管理大数据平台的技能，比如Hadoop生态、数据仓库等。 3. **大数据处理**: 掌握数据的预处理、清洗、转换和加载等技术。 4. **大数据分析**: 学习数据分析方法，包括统计分析、数据...

大数据调度工具

08-27

嗯，用户现在明确要了解大数据调度工具的推荐和使用指南。之前讨论过Kettle的定位（ETL工具而非调度工具），看来用户已经区分清楚这两个概念，现在想深入调度工具方向。用户可能正在搭建大数据平台，需要选择调度...

大数据建模与数据可视化：从底层存储到上层展示的全链路

AI天才研究院

05-06

1127

随着企业数据规模呈指数级增长，传统数据处理技术已难以应对PB级以上数据的存储、计算和分析需求。本文旨在构建一个覆盖"数据存储→数据处理→建模分析→可视化展示"的全链路技术框架，深入解析各环节核心技术原理及工程实现方案。分布式存储系统的架构设计与选型策略数据清洗、特征工程及机器学习建模的核心算法交互式可视化与大屏展示的技术实现路径全链路性能优化与工程实践经验数据存储层：解析分布式文件系统、NoSQL数据库的存储原理数据处理层：详解ETL流程与分布式计算框架的工程实践建模分析层。

大数据调度平台Airflow（三）：Airflow单机搭建

lisheng19870305的专栏

07-17

3647

Airflow是基于Python的，就是Python中的一个包。安装要求Python3.6版本之上，MetadataDataBase支持PostgreSQL9.6+，MySQL5.7+，SQLLite3.15.0+。

旋转：Apache Airflow工作流程的快速迭代本地开发和测试

02-06

旋转快速迭代的本地开发和Apache Airflow工作流程的测试。旋转的想法非常简单：使用Docker容器启动Apache Airflow和工作流中使用的其他组件。这为您提供了在本地计算机上运行的生产环境的副本。您可以从头到尾在本地运行DAG-使用与生产中相同的代码。看到管道成功，您将对正在创建/重构的逻辑及其与其他组件的集成方式更有信心。它还为新开发人员提供了一个隔离的环境来试验您的工作流程。旋转将DAG的代码和（模拟）数据连接到旋转的Apache Airflow容器。使用卷安装，您可以在自己喜欢的IDE中更改代码，并立即在计算机上运行的Apache Airflow

airflow单机版搭建记录——不使用mysql,redis

chunbingxun0073的博客

07-03

646

[toc] airflow单机版搭建记录环境准备 Python(pip)——airflow由python编写安装airflow pip install apache-airflow 环境变量配置本人是在root用户下执行，可自行选择 export AIRFLOW_HOME=~/airfl...

Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程(1)

2401_84253850的博客

05-07

1264

centos7 大数据任务调度系统airflow的安装(单机或分布式)

风中的承诺

10-26

2370

airflow的安装步骤1. 设置airflow的家目录位置2. 安装airflow3. 初始化airflow4. 修改mysql服务器的配置文件 my.cnf5. airflow建议两种运行方案 LocalExecutor或者CeleryExecutor6. 再次初始化数据库7. 启动web服务和调度服务即可本文使用的安装环境是python3, 建议单独设置虚拟环境进行安装。airflow s...

任务调度框架-Airflow单机部署之docker方式

海若_matrix的博客

04-10

2177

前言 airflow支持集群部署，本文介绍单机部署方式，下图为airflow架构。 1.服务器环境 linux版本：centos7 java版本：java8 容器框架：docker 2.拉取docker镜像文件 docker pull puckel/docker-airflow 3.启动airflow镜像 docker run -d -p 8080:8080 puckel/docker-airflow webserver 4.登录web-ui体验一下airflow http://lin..

Airflow单机安装手动安装

fsw4848438的专栏

03-05

513

安装后在anaconda中的路径：/home/fantasy/anaconda3/envs/python3.11/lib/python3.11/site-packages。2.1 Airflow正常使用必须需要一些系统依赖，在mynode4节点上安装以下依赖。1.1 安装anacoda，默认安装路径： /root/anaconda3。1.3 安装后执行：source activate，进入anaconda环境。1.2 配置环境变量：export=/root/anaconda3/bin。

Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）

Java与大数据相关实践内容分享！

01-25

1796

Airflow官网Quick Start实操（一篇学会部署Airflow）

在Python 3虚拟环境中安装Apache Airflow和大数据

2301_78484069的博客

08-28

285

它提供了一个灵活的方式来定义、调度和执行工作流程，非常适合处理大数据任务。通过按照上述步骤，在Python 3虚拟环境中安装和配置Apache Airflow，您可以开始编排、调度和监控大数据工作流程。Apache Airflow提供了丰富的监控和管理功能，可帮助您追踪和管理运行中的工作流程。然后，打开浏览器并访问http://localhost:8080，您将看到Apache Airflow的Web界面。这将在Airflow的工作流程目录中创建一个新的DAG文件。目录下）并定义您的工作流程。