How to install Airflow on Linus Ubuntu 20.04 (Aliyun ECS)

原创

已于 2022-03-07 21:24:44 修改 · 2.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#ubuntu #linux #运维 #数据库 #database

于 2022-01-27 19:31:54 首次发布

本文详细介绍了如何在运行Ubuntu 20.04的阿里云ECS实例上安装和配置Airflow。步骤包括检查pip3、使用pip3安装Airflow、初始化数据库、开启web服务器并设置端口，以及启动调度器。最后，提供了访问Airflow的URL。

Install Airflow in Ubuntu 20.04 (Aliyun ECS）

Step 1: Check pip3 on Linux

root@SecondaryDataUse:~# pwd

/root

root@SecondaryDataUse:~# pip3 --version

pip 20.0.2 from /usr/lib/python3/dist-packages/pip (python 3.8)

Step 2: Install airflow using pip3

root@SecondaryDataUse:~# export AIRFLOW_HOME=~/airflow
root@SecondaryDataUse:~# pip3 install apache-airflow

Step 3: init airflow DB

root@SecondaryDataUse:~# airflow db init
DB: sqlite:////root/airflow/airflow.db
[2022-01-11 10:02:47,931] {db.py:921} INFO - Creating tables
INFO  [alembic.runtime.migration] Context impl SQLiteImpl.
INFO  [alembic.runtime.migration] Will assume non-transactional DDL.
WARNI [airflow.models.crypto] empty cryptography key - values will not be stored encrypted.
WARNI [unusual_prefix_105d5a3ee2d83a45d12269415995c8d67312bae5_example_kubernetes_executor] Th

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

BigDataSmallTeam

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Apache Airflow Installation on Ubuntu

11-17

mysql>grant all privileges on *.* to 'airflow'@'localhost'; mysql>flush privileges; mysql>quit ``` Step 7: 安装 Celery Executor 使用以下命令安装 Celery Executor： `sudo pip3 install "apache-airflow...

参与评论您还未登录，请先登录后发表或查看评论

airflow-autoscaling-ecs:使用Cloudformation在AWS ECS Fargate上进行气流部署

05-04

气流自动缩放ECS 设置为在AWS ECS（弹性容器服务）Fargate中运行气流，并为所有服务启用了自动缩放。所有基础架构都是使用Cloudformation创建的，并且Secrets由AWS Secrets Manager管理。要求使用管理员权限为...

【airflow】ubuntu系统上airflow的安装部署

Felier's Blog

07-27

1044

ubuntu系统上airflow的安装部署

Ubuntu 安装 Apache Airflow

然光不学无術暗于大理

10-06

675

先更新系统和安装 pip3 sudo apt update sudo apt upgrade sudo apt install python-setuptools sudo apt install python3-pip 安装基本库 sudo apt install libmysqlclient-dev sudo apt install libssl-dev sudo apt install libkrb5-dev 更新本地 pip3 package 注: 要加 ~/.profile expo

ubuntu中安装airflow

weixin_45820190的博客

03-07

861

教程亲测十分有效！！！地址虚拟机中安装Ubuntu教程小问题：ubuntu安装时出现界面不完整，无法正常安装时的一个解决方案好爱ubuntu，终于看见了这个界面大爱Ubuntu😍😭

ubuntu 安装airflow 2x

weixin_42357472的博客

09-06

865

1、更新ubuntu sudo apt update 2、安装好python3，pip3 sudo apt install python3-pip pip3 install --upgrade pip 3、安装airflow export AIRFLOW_HOME=~/airflow pip3 install apache-airflow 上面安装时候有提醒没有添加到环境变量，安装提醒操作 echo 'export PATH=/home/loong/.local/bin:$PATH' >&gt

Ubuntu18 airflow安装及使用

qq_39498924的博客

07-30

1887

1.下载安装virtualbox(Oracle VM VirtualBox) 2.下载ubuntu16镜像https://releases.ubuntu.com/xenial/ 3.virtualbox新建一个虚拟环境（选择Linux64）完成后，选择设置-存储-没有盘片-分配光驱-选择下载的ubuntu-16.04.6-desktop-i386.iso 4.安装ubuntu16环境 5.安装pip3: wget https://bootstrap.pypa.io/pip/3.5/get-pip.py py

aws-ecs-airflow：使用Fargate任务在AWS ECS（弹性容器服务）中运行气流

01-29

设置为在AWS ECS容器中运行Airflow 要求本地码头工人 AWS 用于基础架构部署的AWS IAM用户，具有管理员权限，完整运行pip install awscli 在~/.aws/credentials内设置您的IAM用户~/.aws/credentials 在.zshrc...

Ubuntu安装Apache Airflow详细指南

最新发布

neweastsun的专栏

12-26

1724

本文介绍了适合顺序执行和本地执行的非集群Airflow安装，主要用于测试开发环境准备。要在生成环境运行Airflow，通常需要集群环境，采用分布式或容器方式执行。

ubuntu中airflow + CeleryExecutor 环境搭建

星宇_大佬养成时的博客

07-05

235

ubuntu中airflow + CeleryExecutor 环境搭建

Apache Airflow 安装

三丰的专栏

01-14

6108

安装环境： ubuntu 14.04 root：root用户 darren：普通用户（有sudo权限）安装：第一步：安装python sudo apt-get update sudo apt-get install python3 如果已经安装过python3，可以跳过此步。第二步：配置软连接 sudo ln -s /usr/bin/python3.4 /usr/bin...

Anaconda虚拟环境中安装airflow

weixin_38296425的博客

10-14

3129

1.设置Pip镜像源新建/home/.pip/pip.conf 内容： [global] index-url=https://pypi.tuna.tsinghua.edu.cn/simple [install] trusted-host=https://pypi.tuna.tsinghua.edu.cn 2.进入到python36环境这里的python36环境是在Anaconda------环境管理这个章节里创建的，是一个包含python36的虚拟环境 [roo...

airflow和MySQL_airflow快速安装——MySQL

weixin_35400275的博客

02-07

505

1) 进行pip的更新，否则很多安装会报错pip install --upgrade pippip install --upgrade setuptools2) 安装开发库yum install python3-develyum install libevent-develyum install mysql-devel3) 创建airflow的MySQL数据库schema及用户create dat...

Airflow2.2.3 + Celery + MYSQL 8构建一个健壮的分布式调度集群

Marionxue

01-05

3592

AirFlow 实战：安装与启动

热门推荐

SmartSi

08-02

1万+

1. 安装通过pip安装:xiaosi@yoona:~$ pip install airflow 如果速度比较慢，可以使用下面提供的源进行安装:xiaosi@yoona:~$ pip install -i https://pypi.tuna.tsinghua.edu.cn/simple airflow 如果出现下面提示，表示你的airflow安装成功了:Successfully installed

Python基础之程序异常处理！

行到水穷处，坐看云起时！

08-08

591

异常即使一条语句或表达式在语法上是正确的，当试图执行它时也可能会引发错误。运行期检测到的错误称为异常，并且程序不会无条件的崩溃，后面会讲如何在Python程序中处理它们。然而，大多数异常都不会被程序处理，触发异常的例子如下所示： num = 0 print("num = ", num1) print("num = " + num) print("1 / 0 = ", 1 / num) 以上3条打印语句分别执行，会依次出现对应的错误提示。（1）命名错误（ NameError）（2）类型错误（ Ty

Ubuntu上搭建airflow+celery以及配置环境

最熟悉的陌生人

04-16

2479

文章目录1、框架2、搭建过程2.1 基础工作-新建airflow用户和目录2.2 下载并安装anaconda：miniconda2.3 新建airflow的python环境2.4 初始化airflow2.5 修改配置文件2.6 初始化后端数据库2.7 为访问airflow web时添加用户3、启动服务 1、框架服务器环境介绍： Ubuntu 16.04.5 LTS 配置：8核 16G 框架介...

工作流管理平台 Airflow 入门

Bingo

03-22

1147

环境 CentOS Linux release 7.5.1804 Python 3.6.4/2.7.14 简介 Airflow 是 Airbnb 开源的一个用 Python 编写的工作流管理平台，自带 web UI 和调度，目前在Apache下做孵化。 Airflow 中有两个基本概念，DAG和task。 DAG是多个task的集合，定义在一个Python文件中，包含了task之间的依赖关...

Airflow学习笔记 --- airflow安装

杨鑫newlife的专栏

04-27

5645

Airflow学习笔记 --- airflow安装

在AWS ECS中部署Airflow：Fargate任务实例化指南

在 AWS ECS 中运行 Airflow 意味着需要在 ECS 上创建服务，该服务会运行 Airflow 的 Docker 容器。使用 Fargate，可以更简便地实现无服务器的 Airflow 环境，无需关心底层服务器的管理和配置。用户只需定义 Airflow ...