1 简介:
官网:https://airflow.apache.org/
Airflow 是 apache下孵化项目,是纯 Python 编写的一款非常优雅的开源调度平台。
Airflow是一个以编程方式编写、调度和监控工作流的平台。
使用Airflow按照任务的定向非循环图(DAG)编写工作流。在遵循指定的依赖项的同时,Airflow计划程序在一组程序上执行任务。丰富的命令行实用程序使在DAG上执行复杂的操作变得简单。丰富的用户界面使生产中运行的管道可视化、监控进度和在需要时解决问题变得轻而易举。
2 环境:
1、win10
2、Anaconda(Python 3.7)
3、Airflow
3 安装过程:
打开cmd,输入 pip install apache-airflow,可能会报错,找不到ssl模块,参考这个解决教程:WIN10 使用Anaconda安装的Python3,使用pip时报没有ssl模块错误 。
错误解决之后继续,输入 pip install apache-airflow :
安装失败报错:
Microsoft visual c++ 14.0 is required
原因可能是因为windows环境版本问题,需要去官网下载最新的安装。如果安装后还是不生效,可能原因是,MicroSoft .NET Framework版本太旧,重新到官网去下载最新的安装。
在 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件,cp后面是python版本,amd64代表64位,运行命令: pip install 你下载的whl文件名
如果还是不行的话,可以别人分享的安装器进行安装:visualcppbuildtools_full.zip
==========
解决问题之后,继续安装airflow,
成功安装!
==========