Airflow 安装

最新推荐文章于 2023-06-24 17:01:57 发布
转载 最新推荐文章于 2023-06-24 17:01:57 发布 · 955 阅读 · 0

前言

本次安装Airflow版本为1.10，其需要依赖Python和DB，本次选择的DB为Mysql。

本次安装组件及版本如下：

 

  1. Airflow == 1.10

  2. Python == 3.6.5

  3. Mysql == 5.7

Python安装

略 详见：Python3安装(Linux环境)

安装mysql

略 详见：http://note.youdao.com/noteshare?id=d9233511a08f557b9bf4cf939f42d0b2

建库、建用户

建库

库名为airflow

create database airflow;

建用户

用户名为airflow，并且设置所有ip均可以访问。

 

  1. create user 'airflow'@'%' identified by 'airflow';

  2. create user 'airflow'@'localhost' identified by 'airflow';

用户授权

这里为新建的airflow用户授予airflow库的所有权限

 

  1. grant all on airflow.* to 'airflow'@'%';

  2. flush privileges;

Airflow安装

环境变量设置如下代码配置环境变量，此环境变量仅需要设置成临时变量即可并不需要配置成永久变量。

export SLUGIFY_USES_TEXT_UNIDECODE=yes

接下来利用pip安装airflow。

pip install apache-airflow==1.10

此时airflow会被安装到Python下的第三方包中，请记住这个地址，路径一般为${PYTHON_HOME}/lib/python3.6/sit-packages/airflow。

修改AIRFLOW_HOME 环境变量

笔者此次安装仅把HOME变量设置成临时变量，并未设置永久变量。

export AIRFLOW_HOME=/servers/airflow

执行airflow命令

在${PYTHON_HOME}/lib/python3.6/sit-packages/airflow/bin目录下执行

./airflow

此步骤是将airflow安装到刚刚设置的AIRFLOW_HOME目录下。执行这个命令可能汇报一些错误，可以不用太关注，只要保证AIRFLOW_HOME目录下生成了文件即证明本次执行成功。

安装Mysql模块

pip install "airflow[mysql]"

这里可以简单说下，airflow依赖的其他组件均可以此方式安装。在之后安装password组件同样是通过此方式。

修改Airflow DB配置

修改${AIRFLOW_HOME}/airflow.cfg

sql_alchemy_conn = mysql://airflow:airflow@localhost:3306/airflow

参数的格式为mysql://帐号:密码@ip:port/db

初始化db

新建airflow依赖的表。

./airflow initdb

修改时区为东八区

Airflow默认的时间是GMT时间，比北京时间早8小时。这种设计是为了当Airflow集群分布在不同时区的时候时间依然是相同的，不会出现时间不同步的问题。

但是在笔者接触到的场景中为单节点服务，并且即使之后拓展也是在同一个时区，所有决定将时区修改为东八时区即北京时间。

修改时区分为以下几步：

  1. 修改：airflow.cfg文件。
default_timezone = Asia/Shanghai

这里修改的是schedule的调度时间，即在编写调度时间时可以直接写北京时间。

2. 修改webserver界面右上角当前时间

修改${PYTHON_HOME}/lib/python3.6/sitepackages/airflow/www/templates/admin/master.html。

将注释部分的代码修改成红框内的代码。注释内的代码即为将系统时间转为GMT时间，修改后的代码为直接取系统时间，不做时区转换。

修改后的效果如图红框处的效果。

3. 修改webserver lastRun时间

  • 修改 ${PYTHON_HOME}/lib/python3.6/site-packages/airflow/models.py在get_last_dagrun方法上添加
 

  1. def utc2local(self,utc):

  2. import time

  3. epoch = time.mktime(utc.timetuple())

  4. offset = datetime.fromtimestamp(epoch) - datetime.utcfromtimestamp(epoch)

  5. return utc + offset

图示如下：

  • 修改${PYTHON_HOME}/lib/python3.6/site-packages/airflow/www/templates/airflow/dags.html中 last_run.execution_date..strftime("%Y-%m-%d %H:%M")和last_run.start_date.strftime("%Y-%m-%d %H:%M")分别为：
 

  1. dag.utc2local(last_run.execution_date).strftime("%Y-%m-%d %H:%M")

  2. dag.utc2local(last_run.start_date).strftime("%Y-%m-%d %H:%M")

图示如下：

* (可选操作) 重启webserver

如果按照本文顺序安装则不需要执行此步骤。如果在修改时区前已经启动过airflow则需要重启webserver。启动方式在后文会写到，停服务的方式直接kill进程的方式即可。

修改后效果如图：

用户认证

本文采用的用户认证方式为password方式，其他方式如LDAP同样支持但是本文不会介绍。笔者在安装时实验过LDAP方式但是未成功过。

  1. 安装passsword组件
thopip install "airflow[password]"

2. 修改 airflow.cfg

 

  1. [webserver]

  2. authenticate = True

  3. auth_backend = airflow.contrib.auth.backends.password_auth

3. 在python环境中执行如下代码以添加账户：

 

  1. import airflow

  2. from airflow import models, settings

  3. from airflow.contrib.auth.backends.password_auth import PasswordUser

  4. user = PasswordUser(models.User())

  5. user.username = 'admin' # 用户名

  6. user.email = 'emailExample@163.com' # 用户邮箱

  7. user.password = 'password' # 用户密码

  8. session = settings.Session()

  9. session.add(user)

  10. session.commit()

  11. session.close()

  12. exit()

配置邮件服务

此配置设置的是dag的task失败或者重试时发送邮件的发送者。配置如下：

 

  1. [smtp]

  2. # If you want airflow to send emails on retries, failure, and you want to use

  3. # the airflow.utils.email.send_email_smtp function, you have to configure an

  4. smtp_host = smtp.163.com

  5. smtp_starttls = True

  6. smtp_ssl = False

  7. # Uncomment and set the user/pass settings if you want to use SMTP AUTH

  8. smtp_user = mailExample@163.com

  9. smtp_password = password

  10. smtp_port = 25

  11. smtp_mail_from = mailExample@163.com

接下来简单把dag的Python代码列出来，以供参考：

 

  1. default_args = {

  2. 'owner': 'ownerExample',

  3. 'start_date': datetime(2018, 9, 18),

  4. 'email': ['mailReceiver@163.com'], # 出问题时，发送报警Email的地址，可以填多个，用逗号隔开。

  5. 'email_on_failure': ['mailReceiver@163.com'], # 任务失败且重试次数用完时发送Email。

  6. 'email_on_retry': True, # 任务重试时是否发送Email

  7. 'depends_on_past': False, # 是否依赖于过去。如果为True，那么必须要昨天的DAG执行成功了，今天的DAG才能执行。

  8. 'retries': 3,

  9. 'retry_delay': timedelta(minutes=3),

  10. }

设置Executor

修改：airflow.cfg

executor = LocalExecutor

本文中由于只有单节点所以使用的是LocalExecutor模式。

修改log地址

 

  1. [core]

  2. base_log_folder = /servers/logs/airflow

  3. [scheduler]

  4. child_process_log_directory = servers/logs/airflow/scheduler

修改webserver地址

 

  1. [webserver]

  2. base_url = http://host:port

可以通过上面配置的地址访问webserver。

启动Airflow

启动schedule

nohup airflow schedule &

启动webserver

nohup airflow webserver -p 8080 &

问题汇总

以下几点为笔者在安装过程总所遇问题及解决方法。

  1. pip install apache-airflow==1.10 时报错：

To avoid this dependency set SLUGIFY_USES_TEXT_UNIDECODE=yes in your environment when you install

这是由于在安装之前没有添加环境变量，执行如下代码即可：

export SLUGIFY_USES_TEXT_UNIDECODE=yes

2. 初始化db时报错：

Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql

修改Mysql配置文件my.cnf，具体步骤如下：

  • 查找my.cnf文件位置
mysql --help | grep my.cnf

下图红框处为my.cnf文件所在位置：

  • 修改文件
explicit_defaults_for_timestamp=true

修改后代码如图：

注意：必须写在【mysqld】下

  • 重启Mysql
sudo systemctl restart mysql.service
  • 查看修改是否生效。执行如下SQL，如果值为1则为生效。

3. 启动webService报错：

No such file or directory: 'gunicorn': 'gunicorn'

增加环境变量：

export ${PYTHON_HOME}/bin

具体原因请看下面链接，这里不再展开讨论。

启动airflow webserver报错：FileNotFoundError: [Errno 2] No such file or directory: 'gunicorn'​www.cnblogs.com

 

4. pip install "airflow[mysql]"报错：

mysql_config not found

安装mysql-devel:

  • 首先查看是否有mysql_config文件。
find / -name mysql_config

  • 如果没有安装mysql-devel
yum install mysql-devel
  • 安装之后再次查找，结果如图：

5. 执行./aiflow 报错：

cannot import name 'CSRFProtect'

安装Flask-WTF

pip install Flask-WTF==0.14

6. 启动webserver报错：

No module named 'pymysql'

安装PyMysql

pip install PyMysql

7. 启动webserver时报错：

Error: 'python:airflow.www.gunicorn_config' doesn't exist

安装指定版本gunicorn。

Airflow1.10版本安装19.4.0版本：

pip install gunicorn==19.4.0

Airflow1.8版本安装19.3.0版本：

pip install gunicorn==19.3.0

 

 

附件dag

 

  1. #!/usr/bin/python3

  2. from airflow import DAG

  3. from airflow.operators.bash_operator import BashOperator

  4. from datetime import datetime, timedelta

  5.  

  6. default_args = {

  7. 'owner': 'zll',

  8. 'depends_on_past': False,

  9. 'start_date': datetime(2018, 12, 15),

  10. 'email': ['zhoull@getui.com'],

  11. 'email_on_failure': True,

  12. 'email_on_retry': True,

  13. 'retries': 1,

  14. 'retry_delay': timedelta(minutes=500),

  15. # 'queue': 'bash_queue',

  16. # 'pool': 'backfill',

  17. # 'priority_weight': 10,

  18. # 'end_date': datetime(2016, 1, 1),

  19. }

  20.  

  21. dag = DAG('zll1', default_args=default_args)

  22.  

  23. # t1, t2 and t3 are examples of tasks created by instantiating operators

  24. t1 = BashOperator(

  25. task_id='print_date',

  26. bash_command='date',

  27. dag=dag)

  28.  

  29. t2 = BashOperator(

  30. task_id='sleep',

  31. bash_command='sleep 5',

  32. dag=dag)

  33.  

  34. t2.set_upstream(t1)

 

 

  1. [program:airflow_webserver]

  2. command=/usr/local/bin/python2.7 /usr/local/bin/airflow webserver

  3. user=airflow

  4. environment=AIRFLOW_HOME="/home/airflow/airflow", PATH="/usr/local/bin:%(ENV_PATH)s"

  5. stderr_logfile=/var/log/airflow-webserver.err.log

  6. stdout_logfile=/var/log/airflow-webserver.out.log

  7.  

  8. [program:airflow_worker]

  9. command=/usr/local/bin/python2.7 /usr/local/bin/airflow worker

  10. user=airflow

  11. environment=AIRFLOW_HOME="/home/airflow/airflow", PATH="/usr/local/bin:%(ENV_PATH)s"

  12. stderr_logfile=/var/log/airflow-worker.err.log

  13. stdout_logfile=/var/log/airflow-worker.out.log

  14.  

  15. [program:airflow_scheduler]

  16. command=/usr/local/bin/python2.7 /usr/local/bin/airflow scheduler

  17. user=airflow

  18. environment=AIRFLOW_HOME="/home/airflow/airflow", PATH="/usr/local/bin:%(ENV_PATH)s"

  19. stderr_logfile=/var/log/airflow-scheduler.err.log

  20. stdout_logfile=/var/log/airflow-scheduler.out.log

在特定情况下，修改DAG后，为了避免当前日期之前任务的运行，可以使用backfill填补特定时间段的任务

  • airflow backfill -s START -e END --mark_success DAG_ID

 

fireson0
关注
Airflow 1.10.10 安装及本地时区问题解决
python版服务器
10-19 982
airflow2.0之后的版本更改了时区问题，更改airflow.cfg文件中的default_timezone 和 default_ui_timezone为Asia/Shanghai后，发现在Airflow Web UI 上已经显示了北京时间，但是对scheduler并不起作用，需要对源码稍作修改才能使得scheduler安装 utc + 8 的时区来调度任务。 更改步骤： 1.更改配置文件： 在airflow家目录下修改airflow.cfg，设置 default_timezone = Asia/Sha
Airflow安装详解（附airflow.cfg配置详解）
chenzuoli的博客
11-27 7703
标题: Airflow安装详解 日期: 2021-11-16 21:27:21 标签: [airflow] 分类: 调度系统 在讲airflow安装之前，我们先来了解下airflow的架构，这有助于我们去理解安装的步骤到底是干嘛的。 来看这篇文章：airflow架构 我讲的airflow是1.10.14版本的哈。 所以，如果我们搭建airflow是做大量的任务调度，那么就推荐元数据库使用mysql/postgresql，消息队列使用redis/rabbitmq。 我以mysql和rabbitmq为例来.
Airflow 1.10安装
mnasd的博客
11-17 4052
前言 本次安装Airflow版本为1.10，其需要依赖Python和DB，本次选择的DB为Mysql。 本次安装组件及版本如下： Airflow == 1.10 Python == 3.6.5 Mysql == 5.7 Python安装 略 详见：Python3安装(Linux环境) 安装mysql 略 详见：http://note.youdao.com/noteshare?i...
AirFlow安装文档
06-14
airflow安装文档，步骤简单，容易理解，欢迎下载，欢迎下载
离线安装airflow-1.10.10-stable
michal521的博客
06-19 2173
环境：Linux 7.6+python3.7+airflow 1.10 准备一台和离线环境一样的虚拟机，安装Linux 7.6 redhat,配置上网（ping www.baidu.com 能通） 下载准备好的 pip ,setuptools 包，并安装python 包官方网站 找到python 的requiresment.txt 清单 在线安装airflow 打包进入离线环境安装 3 .1: 登录github 搜索apache-airflow ...
Airflow安装配置和web端插件安装
07-01
网络中关于airflow的资料比较少，这里做了一下整理： 1.整理centos7中airflow的安装配置 2.原生airflow默认不支持web端的拖拽实现dag,需要写python脚本，这里我做了一个插件安装说明，可以从网页端实现dag的编写
任务调度 airflow 安装手册
08-29
任务调度 airflow 安装手册
airflow安装
最新发布
11-14
Airflow的安装方法如下： ### 安装前准备 为了后期安装其它软件的需要，先安装必要的依赖包： ```bash yum -y groupinstall "Development tools" yum -y install zlib-devel bzip2-devel openssl-devel ncurses-...
Airflow[v1.10]任务调度平台的安装教程
weixin_34306446的博客
06-13 679
0.背景 真的是想不通，Airflow不论社区活跃度还是Github的star数都是远胜于Azkaban还有EasyScheduler的，但是为何却连一个完备的安装教程都没有呢？是我的需求太高？真的是心累不已，整整把搜索引擎还有youtube翻来覆去也没让我感到满足……不过好在，一步一坑一脚印的最终搭建连通好了环境以及Operator。好了，废话不多说，开始Airflow今日份安装教程。 1.安...
python airflow_airflow 安装，部署，填坑
weixin_39918928的博客
12-05 641
阅读本文大约需要 8 分钟。上一篇文章已经介绍过 airflow ，相信需要的人早已上网搜索相关资料，已经开始动手干了，没错，就是干，喜欢一件事件，请立即付诸行动，不要拖，时间一长，就凉了。Python 的包管理工具 pip 是一个非常优秀的工具，Python 相关的库都可以使用 pip 安装，airflow 也不例外。废话不多说，直接上操作步骤。截止目前 2018年8月14日 ，airflow ...
airflow安装部署(python)
大数据创新开发者、大数据技术开发、创新性大数据分享
05-24 4078
在线安装Airflow 组件版本: Python 3.7.2 Apache airflow 1.10.1 Mysql 5.7.24 CentOs7.8 Python安装 Centos7中，Python默认是安装的，输入python 直接可以查看版本号，入下图 注意: 如果本机安装了python2，尽量不要管它，使用python3运行python脚本就好，因为可能有程序依赖目前的python2环境， 比如yum！不要动现有的python2环境！ 安装python3依赖 命令： .
airflow1.10时区修改
weixin_33709364的博客
12-09 689
https://blog.youkuaiyun.com/crazy__hope/article/details/83688986 转载于:https://www.cnblogs.com/zjc10203/p/10091363.html
airflow 使用心得，从环境到部署上线
猴子饲养员的博客
05-12 8316
使用版本： python 3.6.8 apache-airflow 1.10.3 安装 python 环境准备 apache-airflow 对于 python 版本限制如下： requires Python '>=2.7,!=3.0.*,!=3.1.*,!=3.2.*,!=3.3.*,!=3.4.*' # wget 用于下载源码包， gcc 和 make 用于编译 yum instal...
centos7离线安装airflow1.10.10(真正离线)
Eric
12-09 1614
一：环境及包准备： 1、外网服务器一台，内网服务器一台 2、python3.7+airflow1.10.10+redis4.0.6+mysql5.7 3、从https://github.com/apache/airflow找到对应版本的requirements-python3.7.txt列表单 基础软件安装python、mysql及redis 略过，安装简单，再次略过，注意一点mysql集成airflow 需要在mysql配置文件下添加： explicit_defaults_for_timesta
AirFlow 命令行
weixin_38296425的博客
10-15 3642
AirFlow 提供了丰富的命令，在Anaconda虚拟环境中安装airflow这个文章的基础上开始整理。 首先从帮助信息开始: 进入python36虚拟环境之后，执行airflow -h (python36) [root@localhost airflow]# airflow -h usage: airflow [-h] GROUP_OR_COMMAND ... positional arguments: GROUP_OR_COMMAND Groups: celery
Apache Airflow部署文档(物理机版本)
Young2018的博客
10-15 1324
0.airflow架构 从开发的角度出发来看，使用Local Execultor的基础 Airflow架构是一个绝佳的理解Apache Airflow架构的起点。 以下是airflow 主要组件的说明： 元数据库(Metadata Database): Airflow使用 SQL 数据库 来存储关于 数据流水线运行相关的元数据信息。在图片下方，元数据库由在Airflow当中很受欢迎的Postgres来表示。Airflow也支持MySQL作为其元数据库。 Web服务器和调度器(Web
Apache Airflow 安装
freeRoad
06-24 533
把pypi.org加入可信站点即可。
Apache Airflow --- Linux安装
百世经纶『一页書』
06-09 9439
Airflow的安装使用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值