
Airflow
文章平均质量分 76
Cest_L
这个作者很懒,什么都没留下…
展开
-
Airflow安装部署
1. airflow需要python2.7以上的版本,安装前请检查python版本python -V2. 安装相关依赖使用root用户进行如下操作:yum groupinstall "Development tools"yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel pyt原创 2017-09-18 10:27:05 · 2657 阅读 · 0 评论 -
airflow高可用
Airflow集群搭建1.前言airflow作为调度工具,由Webserver、Schduler、Worker三个组件互相配合完成工作。三个组件之间没有强依赖关系,依靠共用元数据库和消息队列完成调度任务。因此,在多台机器上部署airflow,配置相同的元数据库和消息队列,以此来实现airflow的集群模式。2.工作原理原创 2017-09-13 11:55:58 · 5910 阅读 · 0 评论