小知识点：Airflow 安装部署

最新推荐文章于 2024-06-21 00:40:23 发布

原创

最新推荐文章于 2024-06-21 00:40:23 发布 · 1.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#经验分享 #linux

文章详细介绍了如何在Linux上安装Python3.9，包括依赖环境的安装和配置。接着，它演示了如何升级pip和setuptools，然后安装ApacheAirflow，并连接到MySQL数据库。在配置Airflow时，提到了需要修改airflow.cfg文件以适应MySQL，并解决了因sqlite版本过低和timestamp默认值问题引发的错误。最后，文章列举了一些安装过程中遇到的坑，如命令路径、setuptools版本和数据库兼容性问题。

在这里插入图片描述

安装流程

部分安装方法参考： Linux 虚拟机：大数据集群基础环境搭建（Hadoop、Spark、Flink、Hive、Zookeeper、Kafka、Nginx）

一、Python 安装

当前安装版本为 Python-3.9，使用源码包安装

下载源码包或者 wget 下载

wget https://www.python.org/ftp/python/3.9.6/Python-3.9.6.tgz

tar -zxvf Python-3.9.6.tgz

依赖环境安装

sudo yum -y install vim unzip net-tools && sudo yum -y install wget && sudo yum -y install bzip2 && sudo yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel && sudo yum -y install libglvnd-glx && sudo yum -y install gcc gcc-c++

预配置

cd Python-3.9.6
./configure --prefix=/xxx/program/python3

编译安装

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

左瞧瞧右看看

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）

Java与大数据相关实践内容分享！

01-25

1851

Airflow官网Quick Start实操（一篇学会部署Airflow）

Airflow安装部署

zhiquxun4268的博客

09-03

1648

Airflow安装部署新闻信息是通过爬虫获取，使用scrapy框架进行爬虫任务；使用airflow工作流监控平台对爬虫任务进行管理、监控（可使用CeleryExecutor分布式，也可使用LocalExecutor多进程进行数据采集）。以下主要是对airflow的安装和配置。 1.系统环境目前使用的系统环境为Centos Linux release 7.4.1708 (core),l...

参与评论您还未登录，请先登录后发表或查看评论

airflow学习之路 (一) 安装启动airflow

weixin_44929001的博客

03-20

1123

apache airflow 是一个开源平台，用于开发、调度、以及监控面向批处理的工作流。Airflow的可扩展Python框架使您能够构建工作流程与几乎任何技术连接。Web 界面有助于管理工作流的状态。气流是可通过多种方式进行部署，从笔记本电脑上的单个进程到分布式设置，甚至支持最大的工作流程。

airflow 部署

12-28

262

环境： ubuntu 14.04 LTS python 2.7 script: 设置环境变量： export AIRFLOW_HOME=~/airflow 安装相关依赖包： sudo apt-get install python-dev sudo apt-get install python-numpy sudo pip install airflo...

airflow的安装

junjunzai123的博客

08-15

2538

随着任务的增多, 需要顺序的自动执行, 这个时候就需要有一款合适的框架, 对工作流进行执行和监控, 所以在这里选择了airflow的使用.根据以上的步骤, 可以很快的安装和搭建起airflow, 后期就是对其部署和使用了, 部署和使用待下期更新~~~.

Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程

最新发布

2401_84264536的博客

06-21

949

pip install “apache-airflow==AIRFLOW_VERSION"−−constraint"{AIRFLOW\_VERSION}" --constraint "AIRFLOW_VERSION"−−constraint"{CONSTRAINT_URL}” 创建并切换到airflow虚拟环境 conda create -n airflow python=3.8 conda activate airflow AIRFLOW_VERSION=2.7.2 PYTHON_VERSION=“(py

Dockerfile压缩包：airflow_docker_test解析

根据提供的文件信息，我们将会探讨与“airflow_docker_test”相关的知识点。由于标题和描述均提供了相同的主题“airflow_docker_test”，这表明我们关注的焦点在于Airflow与Docker的结合使用。标签“Dockerfile”...

掌握Bitnami Docker Airflow映像：高效部署Apache Airflow工作流

### 知识点详细说明 #### 什么是Apache Airflow？ Apache Airflow是一个开源工作流调度平台，由Airbnb公司开发。它允许数据工程师和数据科学家以编程方式编写、调度和监控工作流。工作流是由多个任务组成的有向无...

Python库介绍：Airflow-ECS-Fargate-Executor 0.7

知识点: 1. 资源分类：本资源被分类为Python库，说明它是一个用于Python编程语言的软件包。Python库是包含了数据结构、算法、工具、方法的集合，能够让Python开发者在编程时使用这些工具和方法，从而加快开发效率，...

airflow的安装部署

厚积薄发

06-30

986

1. 安装python3.6.8 http://www.voidcn.com/article/p-pxlwdned-byr.html， yum -y安装对应的依赖 2. 在线安装airflow pip3 install apache-airflow 3. 执行airflow命令，在哪里执行就会在哪里生成配置文件 mysql要创建一个airflow库，同时my.cnf 设置explicit_defaults_for_timestamp=1修改airflow.cfg配置文件 4.初始化数据库配置 .

airflow安装部署

军魂领域的博客

12-15

1123

安装pip： [root@master ~]# yum -y install python36 [root@master ~]# yum install -y python36-devel [root@master ~]# pip3 install paramiko 安装airflow： [root@master ~]# pip3 install apache-airflow 安装报错： Command "/usr/bin/python3 -u -c "import setuptools, tokeni

airflow部署

热门推荐

qq_28686911的博客

07-27

6万+

本地部署创建目录并添加环境变量 mkdir /opt/airflow echo "export AIRFLOW_HOME=/opt/airflow" >> /etc/profile 安装 pip install apache-airflow 初始化db airflow db init 创建用户 airflow users create \ --username admin \ --firstname Peter \ --lastname Parker \

airflow安装部署(python)

大数据创新开发者、大数据技术开发、创新性大数据分享

05-24

4083

在线安装Airflow 组件版本: Python 3.7.2 Apache airflow 1.10.1 Mysql 5.7.24 CentOs7.8 Python安装 Centos7中，Python默认是安装的，输入python 直接可以查看版本号，入下图注意: 如果本机安装了python2，尽量不要管它，使用python3运行python脚本就好，因为可能有程序依赖目前的python2环境，比如yum！不要动现有的python2环境！安装python3依赖命令： .

Airflow安装配置和使用

weixin_62015493的博客

04-10

1737

Airflow是一个由Airbnb开发的开源工作流平台，使用Python编写。它基于DAG（有向无环图）进行任务管理，可以方便地实现任务的调度、监控和管理。与crontab等传统任务管理工具相比，Airflow不仅解决了任务依赖问题，还能方便地查看任务的执行状况、追踪任务历史执行情况，并在任务执行失败时发送邮件通知和查看错误日志。Airflow拥有与Hive、Presto、MySQL、HDFS、Postgres等数据源交互的能力，并且提供了钩子（hook）使其具有良好的扩展性。

airflow初探（一）-- 安装和部署

hpugym的专栏

04-23

2798

airflow搭建分布式流程控制 Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和管理。 Airflow的工作流程 airflow 的守护进程彼此之间是独立的，他们...

2010Android studio搭建

weixin_45222389的博客

11-29

260

标题：Android studio平台的搭建目的：学会安装Android studio并且运行hello word程序到手机实验步骤： 1，下载Android studio程序。

Apache-Airflow部署

weixin_42289790的博客

01-12

639

使用 pip 安装 airflow如果安装速度过慢，可执行下面的命令指定镜像源进行下载安装如果出现则表明安装成功。初始化 airflow 数据库，其内置（如果没有显式配置其他数据库）一个SQLite数据库。

Airflow安装及使用

AU3 && C++

07-14

1933

Airflow是一个以编程方式编写，安排和监视工作流的平台。使用Airflow将工作流编写任务的有向无环图（DAG）。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道，监视进度以及需要时对问题进行故障排除变的容易。