AirFlow环境搭建

Ubuntu上搭建airflow+celery以及配置环境 文章目录1、框架2、搭建过程2.1 基础工作-新建airflow用户和目录2.2 下载并安装anaconda:miniconda2.3 新建airflow的python环境2.4 初始化airflow2.5 修改配置文件2.6 初始化后端数据库2.7 为访问airflow web时添加用户3、启动服务 1、框架 服务器环境介绍: Ubuntu 16.04.5 LTS 配置:8核 16G 框架介... 阅读详情

基础环境

Centos7.8
Python
mysql

1. 搭建Python3环境

查找python位置
[root@root ~]# whereis python
python: /usr/bin/python2.7 /usr/bin/python 
  • 可以知道我们的python在 /usr/bin目录中
[root@root ~]# cd /usr/bin/
[root@root bin]# ll python*
lrwxrwxrwx. 1 root root    7 2月   7 09:30 python -> python2
lrwxrwxrwx. 1 root root    9 2月   7 09:30 python2 -> python2.7
-rwxr-xr-x. 1 root root 7136 8月   4 2017 python2.7
  • 可以看到,python指向的是python2,python2指向的是python2.7,因此我们可以装个python3,然后将python指向python3,然后python2指向python2.7,那么两个版本的python就能共存了。
2.因为我们要安装python3,所以要先安装相关包,用于下载编译python3:
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make

运行了以上命令以后,就安装了编译python3所用到的相关依赖

3.默认的,centos7也没有安装pip,不知道是不是因为我安装软件的时候选择的是最小安装的模式。
  • 运行这个命令添加epel扩展源
yum -y install epel-release
yum -y install libffi-devel
  • 安装pip
yum install python-pip
4.用pip装wget
pip install wget
5.用wget下载python3的源码包(评论区网友提供了淘宝镜像,替换了官网下载python3,提高下载速度)
wget http://npm.taobao.org/mirrors/python/3.7.5/Python-3.7.5.tar.xz
6.编译python3源码包
  • 解压
xz -d Python-3.7.5.tar.xz
tar -xf Python-3.7.5.tar
  • 进入解压后的目录,依次执行下面命令进行手动编译
cd Python-3.7.5
./configure prefix=/usr/local/python3
make && make install
  • 如果出现can’t decompress data; zlib not available这个错误,则需要安装相关库
    #安装依赖zlib、zlib-devel
yum install zlib zlib
yum install zlib zlib-devel

如果最后没提示出错,就代表正确安装了,在/usr/local/目录下就会有python3目录

7.添加软链接
  • 将原来的链接备份
mv /usr/bin/python /usr/bin/python.bak
  • 添加python3的软链接
ln -s /usr/local/python3/bin/python3.7 /usr/bin/python
  • 测试是否安装成功了
python -V
8.更改yum配置,因为其要用到python2才能执行,否则会导致yum不能正常使用
vi /usr/bin/yum

把! /usr/bin/python修改为! /usr/bin/python2

vi /usr/libexec/urlgrabber-ext-down

把#! /usr/bin/python 修改为#! /usr/bin/python2

  • 启动python2:
python2
  • 启动python3:
python

pip指向Python3

pip没有设置的话,在命令行输入 pip --version 或者 pip2 --version,指向的都是python2.
现在我们设置把pip指向python3,(安装好python3后,里面就已经下载了pip3了,无需额外下载)

# 进入usr/bin目录
cd /usr/bin
 
# 查看pip前缀的文件
ll pip*
 
# 删除pip文件
rm pip
 
# 重新设置pip文件
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip
 
# 可以再补加一个pip3命令
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3 

此时输入命令 pip --version 或者 pip3 --version 会发现pip已经指向的是python3了。
如果需要下载python3的库,就可以直接使用命令,pip3 install 或 pip install,

而下载python2的库,使用命令pip2 install

安装AirFlow

安装python3包
pip install --upgrade pip
pip install pymysql
pip install paramiko
安装airflow依赖环境
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
安装airflow
pip install apache-airflow
  • 报出警告
WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager

则可以先CD进入Python安装目录,执行以下指令 :
假设Python3安装在/usr/local/python3

cd /usr/local/python3
python3 -m venv tutorial-env
source tutorial-env/bin/activate

再次尝试pip命令即可

Windows10机器如何搭建airflow环境 airflow在Windows机器上部署十分不便利,甚至是部署不上,本文讲述如何在Windows10机器上部署。 阅读详情

相关推荐

Airflow详细搭建过程(亲测 + 总结)

Airflow详细搭建过程(亲测+总结) 官网:Apache airflow Airflow是社区创建的一个平台,用于以编程方式编写,安排和监视工作流。 半个月前搭了一次,现在做一个记录,不逼逼,开始搭建了,全程多图: 环境准备 系统: cent os 7 conda版本: 4.8.2 airflow版本 1.10.11 开始搭建 我这边会用一个conda创建一个apache airflow的环境: conda create -n airflow_env python=3.7 切换到当前的这个环境: c

善皮之的博客 8279

centos安装python3

centos安装python3 1、查看安装默认安装位置 whereis python 2、python2.7默认安装是在 /usr/bin目录中,切换到/usr/bin/ cd /usr/bin/ 3、安装相关的依赖包 yum install -y epel-release zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make 4、安装pip yum insta

钟健的博客 6万+

结合 Conda 手动安装 RepeatMasker

RepeatMasker 是一个广泛使用的生物信息学工具,用于识别和屏蔽(mask)基因组序列中的 重复序列(repeats) 。在使用过程中需要调用重复序列数据库(Repbase 和 Dfam),如果使用Conda安装的话会出现许多问题,因此推荐手动安装。在此记录我手动安装RepeatMasker的流程,希望对各位同学有所帮助。

m0_65437087的博客 2538

python中的位置怎么看_【已解决】CentOS中如何查看Python的site-packages位置

现在是一个Python的Django项目,本地由于需要支持jwt的error handler,所以更新了本地的python的jwt的代码:/usr/local/lib/python3.6/site-packages/rest_framework_jwt* `rest_framework_jwt/settings.py`* `rest_framework_jwt/utils.py`* `rest_f...

weixin_39581845的博客 633

HyperLPR3车牌识别-Android-SDK光速部署与使用

基于深度学习高性能中文车牌识别 High Performance Chinese License Plate Recognition Framework.快速部署AndroidSDK

tunm 6128

KUKA-外部自动运行模板程序——个人设计模式&思路

用于说明KUKA与西门子PLC外部自动交互模板的设计思路与使用流程

qq_39024187的博客 5640

Centos7 安装pip

1.首先查看Python版本,一般Centos 7以上都会默认安装Python pyhton  version 2.安装pip yum install python-pip 这样一般会显示找不到python-pip包   需要先安装epel扩展源 EPEL(http://fedoraproject.org/wiki/EPEL) 是由 Fedora 社区打造,为 RHEL 及衍生发行版...

Do 2955

1104全部报表版本号-银监会报表

G4B_Ⅲ(a)X1《与非中央交易对手的衍生具交易对手信用风险违约风险计算表(现期风险暴露法)(第一档)》G4B_Ⅲ(b)X1《与非中央交易对手的证券融资交易对手信用风险违约风险计算表(权重法)(第一档)》G4B_Ⅲ(a1)X2《与非中央交易对手的衍生具交易对手信用风险违约风险计算表(标准法)(第二档)》Ⅲ(a)X2《与非中央交易对手的衍生具交易对手信用风险违约风险计算表(现期风险暴露法)(第二档)》Ⅲ(a1)X1《与非中央交易对手的衍生具交易对手信用风险违约风险计算表(标准法)(第一档)》

数字化老司机 6307

CentOS软件安装目录查找

注:一般的软件的默认安装目录在/usr/local或者/opt里,可以到那里去找找. 指令名称:whereis 功能介绍:在特定目录中查找符合条件的文件。这些文件的烈性应属于原始代码,二进制文件,或是帮助文件。 语法格式:whereis [-bfmsu][-B <目录>...][-M <目录>...][-S <目录>...][文件...] 常用参数说明:...

weixin_33991418的博客 199

外设高级定时器互补输出带死区控制实验

外设高级定时器互补输出带死区控制实验

ff_juju的博客 1656

FOC 转子初始位置检测(图文详解)

什么是转子的初始位置? 其实转子的初始位置是不确定的,但是在电机启动的时候,我们需要得到电角度,这样才可以进行矢量控制;所以,这里将转子与A轴重合作为初始位置,此时电角度也恰好为零,具体如下图所示; ) 至于原理下面会详细分析,这样在转子到初始位置后,也可以得到准确的电角度,就可以实现磁场和转子的同步转动。 如何让转子运行到初始位置? 其实这是一个很简单的问题,在这里我将它放大了,简单地分析了一...

一名热爱技术的工程师的博客。分享技术干货,记录美好生活。永远相信美好的事情即将发生。 2万+

airflow的安装

随着任务的增多, 需要顺序的自动执行, 这个时候就需要有一款合适的框架, 对工作流进行执行和监控, 所以在这里选择了airflow的使用.根据以上的步骤, 可以很快的安装和搭建起airflow, 后期就是对其部署和使用了, 部署和使用待下期更新~~~.

junjunzai123的博客 2627

华为OD机试 双机位A卷 - 流量波峰 (C++ & Python & JAVA & JS & GO)

华为OD机试双机位A卷 流量波峰,提供Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解

qq_45776114的博客 1378

airflow详细环境搭建

airflow python安装 使用自动化脚本进行安装 Python3.5.4, 若后续更新 Python 版本, 则修改脚本对应代码 #! /bin/sh # download PYTHON_DIR="/opt/python" if [ -d "$PYTHON_DIR"];then rm /opt/python -rf fi mkdir /opt/python cd /opt/python wget https://www.python.org/ftp/python

qq_38613380的博客 816

179、运动控制中的行业标准:机器人安全标准ISO 10218

今天这篇笔记,就把我踩过的坑和标准里的硬骨头掰开揉碎讲清楚。

m0_50546716的博客 170

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Mac airflow 开发环境搭建

在 macOS 上搭建 Apache Airflow 开发环境可以通过以下步骤完成。我们将使用 pip 来安装 Airflow,并设置一个简单的开发环境。 ...

Viking的博客 1124

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

airflow + CeleryExecutor 环境搭建

airflow整合环境搭建 1. 整体结构 mysql -> 后端数据库 redis -> 用于broker CeleryExecutor -> 执行器 2. 环境安装 2.1,安装python anaconda环境 添加py用户 # useradd py 设置密码 # passwd py 创建anaconda安装路径 # mkdir /anaconda 赋权 # chown -...

weixin_30532973的博客 639

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

airflow sql_alchemy_conn mysql_airflow + CeleryExecutor 环境搭建

airflow整合环境搭建1. 整体结构mysql -> 后端数据库redis -> 用于brokerCeleryExecutor -> 执行器2. 环境安装安装python anaconda环境添加py用户# useradd py设置密码# passwd py创建anaconda安装路径# mkdir /anaconda赋权# chown -R py:py /anaconda上...

weixin_39980353的博客 1146

python 高可用_airflow高可用(HA)环境搭建

简述前端时间尝试着搭建了airflow的高可用(HA)环境,为避免自己遗忘,现将安装过程整理成文档。公司环境没有外网,只是配置了本地yum源,安装之前将所有的用到的包都预先整理了一下。为了方便大家阅读我稍后会将包结构给出,大家在阅读的时候有些地方请根据自己的环境进行替换。airflow_ha_install/├── airflow-packages //该目录下主要存放了airflow依赖的三方...

weixin_39530647的博客 881

ubuntu中airflow + CeleryExecutor 环境搭建

ubuntu中airflow + CeleryExecutor 环境搭建

星宇_大佬养成时的博客 277

初识 AirFlow以及本地环境搭建

简介 参考链接: https://www.cnblogs.com/cord/p/9450910.html 虚拟机环境配置AirFlow VMware Workstations 11 Ubuntu 18.04.3 + Python + Pip Ubuntu ISO镜像文件下载地址: http://mirrors.aliyun.com/ubuntu-releases/18.04/ ...

AmourzxqのBLOG 1356

从零搭建 Apache Airflow 2.4.3 环境

通过以上步骤,我们成功搭建了一个基于 MySQL + Redis + Celery 的 Apache Airflow 2.4.3 开发环境。该架构支持多 Worker 分布式执行任务,适合进一步开发复杂的数据管道。后续可根据需要添加 DAG 文件、配置监控或集成其他系统(如 S3、Kubernetes 等)。

bill的博客 1043

Android离线人脸识别实测:66ms 检索

本文用 FaceVerificationSDK 仓库中的真实代码与测试数据,把 Android 离线人脸识别的模式划分、性能、活体检测与选型边界一次讲清,帮你在半小时内判断它能否撑住你的门禁、考勤或签到项目。 ## 💡 云端人脸 API 的三笔隐性成本 你的门禁设备断网后还能不能开门?这一个问题基本就能定方案。对需要长期在线的身份验证设备,把识别链路放在云端要多付三笔钱: - **延迟**

gitblog_00908的博客 246

Airflow环境搭建

Airflow环境搭建

weixin_63881558的博客 3862

Apache Airflow 从源码安装与开发环境搭建指南

Apache Airflow 从源码安装与开发环境搭建指南 【免费下载链接】airflow Airflow 是一款用于管理复杂数据管道的开源平台,可以自动执行任务并监控其状态。高度可定制化、易于部署、支持多种任务类型、具有良好的可视化界面。灵活的工作流调度和管理系统,支持多种任务执行引擎。适用自动化数据处理流程的管理和调...

gitblog_00499的博客 502

宿主机搭建 Airflow 环境指引

宿主机中搭建 airflow 环境指引

TFATS的博客 1364
上一篇: Apache Doris
下一篇: Log 监控报警系统
dingleilovewanping
博客等级 码龄7年 28粉丝 44原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值