airflow系列教程（四）在docker容器下安装airflow(完全离线)

最新推荐文章于 2024-12-22 23:11:46 发布

数据Ai指北

最新推荐文章于 2024-12-22 23:11:46 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：调度Airflow

本文链接：https://blog.youkuaiyun.com/shujuelin/article/details/106467105

调度Airflow 专栏收录该内容

10 篇文章 ¥9.90 ¥99.00

订阅专栏

本文详细介绍了如何在CentOS7系统中离线安装Docker，然后在Docker容器中部署Airflow，包括卸载旧版MySQL、安装MySQL、修改Airflow配置以适应LocalExecutor，并解决初始化数据库时的Fernet错误问题。

本人的环境是基于centos7下来安装的

一、安装docker

下载docker安装包，下载地址：https://download.docker.com/linux/static/stable/x86_64/

下载到本地后解压

tar -zxf docker-18.09.6.tgz

将解压出来的docker文件内容移动到 /usr/bin/ 目录下

cp docker/* /usr/bin/

将docker注册为service

新建文件

vim /etc/systemd/system/docker.service

并添加以下内容

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-onl

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

数据Ai指北

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

docker源码部署airflow

qq_36129581的博客

03-15

1229

1.本项目使用docker部署节点并且是用源代码部署版本2.6.3，下面是结点分布。

Docker安装airflow（超详细）单机，集群部署教程

Without_1113的博客

06-21

2022

基于这个项目：git clone https://github.com/puckel/docker-airflow 上图的文件解压后如图： ### 更改配置文件vim airflow.cfg ### 文件移动 docker-airflow底下所有文件放进 /usr/local/airflow docker的安装这里不再列出参考：https://www.runoob.com/docker/centos-docker-install.html 启动：docker-compose -..

参与评论您还未登录，请先登录后发表或查看评论

【入门Airflow】使用Docker在本地快速搭建Airflow

mkdir700的博客

12-16

8973

本文主要参考官方文档编写。我将顺着官方文档的流程在本地安装Airflow ，并且附上安装过程的截图。其实官方文档步骤写得都是比较详细，奈何这英语能力真的拉跨。不过还是建议大家在使用过程中遇到的任何问题，优先去查看官方文档，有奇效。官方文档： https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 生产准备这里Airflow官方建议我们不要使用当前这种“快速入门”的方式用在生产环境。本文的这种方式就供我们

dockercompose--airflow

大数据_大龙

04-12

644

dockercompose--airflow

docker部署Airflow(修改URL-path、更换postgres --＞myslq数据库、LDAP登录)

记录点滴生活

03-04

7615

Airflow什么是 Airflow？Airflow 的架构Airflow 解决哪些问题一、docker-compose 安装airflow（postgres）1、创建启动文件airflow-docker-compose.yml.1.1、添加挂载卷，需要修改airflow-docker-compose.yml的位置2、创建本地配置文件airflow.cfg2.1、如果想修改WEB URL地址，需要修改airflow.cfg中以下两个地方3、之后up -d直接启动即可web访问地址：二、存储数据库更换post

docker上安装airflow

clever101的专栏

07-02

2745

作者：朱金灿来源：https://blog.youkuaiyun.com/clever101 centos 7环境下： mkdir airflow //创建airflow文件夹 git clone https://github.com/puckel/docker-airflow.git /root/airflow //下载源码到airflow文件夹 docker run ...

Docker 下部署 airflow

weixin_43413709的博客

09-01

1614

1、访问docker hub上的airflow地址拉取镜像 $docker pull apache/airflow 2、通过以下命令启动airflow镜像 $docker run -d -p 8080:8080 puckel/docker-airflow 3、浏览器登录 http://localhost:8080/admin/ 注：如果为docker toolbox ，则ip地址为docker启动时的地址此时由于没有数据库初始化，得到的dag应该为空 4、数据库初始化 1、先在本地环境执行

airflow v2.6.0 Docker Compose 部署

奔跑的蜗牛的博客

06-19

2312

本文主要记载 airflow 容器化部署步骤以及需要注意的事项。

Airflow Docker安装

weixin_48167451的博客

04-20

3251

相信很多data工程师都或多或少接触过Airflow，airflow是apache基金会的开源项目,能白嫖为啥不用是吧！！官网:https://airflow.apache.org/ 目的：很多小伙伴在airflow安装的时候遇到了pip的一些问题，很烦是吧，所以废话不多说，docker安装，直接撸他环境介绍：Centos 7.5 Airflow官网教程在这里 https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html

docker容器中安装airflow

qq_40133908的博客

07-21

1176

一次偶然的机会需要了解airflow，然后就查了下，网上说了一大堆安装的步骤，什么装Python，以及Python的一些插件，但是一大佬说可以用docker安装airflow，然后就查了下，发现使用docker安装会简单很多，而且还没什么问题。最终参考了以下这篇博客，最终完成安装： https://blog.youkuaiyun.com/clever101/article/details/94458903 ...

docker-airflow：Docker Apache Airflow

02-05

docker-气流该存储库包含 airflow的Dockerfile ，用于将的发布到公共。资讯资讯基于Python（3.7-slim-buster）官方图片并使用作为后端，作为队列安装安装遵循的Airflow版本发布安装从Docker存储库中提取映像。 docker pull puckel/docker-airflow 建立（可选）在构建时安装和/或python依赖项： docker build --rm --build-arg AIRFLOW_DEPS="datadog,dask" -t puckel/docker-airflow . docker build

docker安装airflow

惊云

12-09

755

本地路径/plugins:/opt/airflow/plugins。- 本地路径/config:/opt/airflow/config。- 本地路径/dags:/opt/airflow/dags。- 本地路径/logs:/opt/airflow/logs。访问 http://localhost:8080。放在 /opt/airflow/目录下。修改刚刚拉取的yaml文件。默认账号: airflow。默认密码: airflow。airflow官方文档。

仅此记录-Docker部署airflow(单节点)

qq_37902466的博客

03-22

1132

操作系统 Ubuntu：22.04.2。

ZipFile 解压多个.zip压缩文件

Cmmmmm丶的博客

06-20

746

用zipfile一次解压多个文件

Airflow的docker-compose.yaml安装

weixin_43651674的博客

01-25

2362

由于airflow的组件多，相互关联性强，特别在使用celery调度方式的情况下，另外加上airflow的版本迭代确实快。所以本地固有安装不是一种良好的维护方式。所以特此推荐使用docker-compose.yaml进行安装，一站式启停。

【原创】运维基础之Docker（5）docker部署airflow

weixin_30924239的博客

03-01

589

部署方式：docker+airflow+mysql+LocalExecutor 使用airflow的docker镜像 https://hub.docker.com/r/puckel/docker-airflow 使用默认的sqlite+SequentialExecutor启动： $ docker run -d -p 8080:8080 puckel/docker-airflow web...

【Docker】Airflow 容器化部署

Qinghub‘博客

03-21

3348

Apache Airflow 是一种以有向无环图 (DAG) 形式表达和执行工作流程的工具。它包括用于计划任务、监视任务进度和处理任务依赖性的实用程序。以编程方式编写，安排和监视工作流的平台。 Airflow scheduler程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道，监视进度以及需要时对问题进行故障排除变的容易。

airflow 在 docker 中的安装与使用

fwzzzzz的博客

05-21

5973

文章目录airflow 在 docker 中的安装与使用简介airflow 镜像环境变量配置信息dagspip 包的安装挂载目录部署airflow.cfg 配置文件修改示例加载邮件时区登录配置其他配置信息目录结构与文件.envDockerfiledocker-compose.yaml启动查看 dags 信息扩展钉钉机器人报警邮箱报警异常出现AttributeError: module ‘typing‘ has no attribute ‘_ClassVar‘错误airflow.cfg airflow 在 d

airflow docker 安装