环境需要
-
VMware虚拟机(博主使用的是15.0)
-
centos镜像 链接:http://mirrors.aliyun.com/centos/7/isos/x86_64/
-
centos7安装Python3 链接:https://blog.youkuaiyun.com/qq_42166308/article/details/108883092
-
centos7安装mysql8.0 链接:https://blog.youkuaiyun.com/qq_42166308/article/details/108849906
-
安装airflow
-
启动airflow webserver
前面的准备安装工作,就按照博主的链接一步步来,稳得很!!!接下来接着上面来安装airflow
配置airflow
vi /etc/profile
# 进入后插入以下配置
export AIRFLOW_HOME=/usr/local/airflow
export SLUGIFY_USES_UNIDECODE=yes
修改完后执行:是配置文件生效!
source /etc/profile
安装airflow
pip3 install apache-airflow -i https://pypi.douban.com/simple
安装成功截图:
初始化数据库表(默认使用本地的sqllite数据库)
查找pip3安装airflow的路径
find / -name airflow
airflow命令在以下路径中
之后执行初始化:
./airflow initdb
执行成功后,接着出现下面就表示成功!!!
创建软连接
软连接就相当于Windows的快捷方式
ln -s /usr/local/python3.6.8/bin/airflow /usr/bin/airflow
ln /usr/local/python3.6.8/bin/gunicorn /usr/bin/gunicorn
启动airflow webserver
airflow webserver
成功如下:
然后访问 http://0.0.0.0:8080/admin/就会出现画面:
使用mysql数据库
【注意】:因为使用上面的sqllite数据库他只是会支持单线程任务,所以我们需要使用到mysql或者其他的Oracle都可以。这里只说mysql
博主这里使用的是mysql8.0因为可以使用窗口函数
- 先创建一个airflow数据库,root用户授权看上面那个文章
create database airflow
2.退出数据库,安装pymsql
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pymsql
3.修改airflow.cfg这个文件(寻找自己的位置)
修改成自己的数据库root密码。
4.最后执行一步初始化仓库就OK了
airflow initdb
5.这时候你就会发现进入数据库use airflow 后出现很多依赖表
use airflow;
show tables;
OK,完美成功的安装了。然后在
airflow webserver
airflow scheduler
成功的启动airflow-localexecutor可以支持多线程任务!!
如果觉得有用可以点个赞,支持一下博主!!