mnasd的博客

版本信息：    python 2.7.15    airflow==1.8.0    SQLAlchemy==1.1.18    flower==0.9.2其中SQLAlchemy的版本如果是1.2.x版本会在创建用户是报错，    [root@localhost ~]# python2 create_user.py    [2018-07-18 18:51:09,336] ...

本文将介绍 Airflow 这一款优秀的调度工具。主要包括 Airflow 的服务构成、Airflow 的 Web 界面、DAG 配置、常用配置以及 Airflow DAG Creation Manager Plugin 这一款 Airflow 插件。一、什么是 AirflowAirflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动，2015 年春...

单机上安装分别在192.168.3.191 192.168.3.192 节点上安装rabbitmq serverInstall erlang yum install airflow_ha_install/rabbitmq/erlang-19.3.6.4-1.el7.x86_64.rpm Install RabbitMQ Server yum install airflow_...

1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块、密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动airflow3.1 初始化数据库3.2 创建用户3.3 启动airflow4.执行任务5.安装cele...

import airflowfrom airflow import DAGfrom airflow.contrib.operators.databricks_operator import DatabricksSubmitRunOperatorfrom airflow.operators.email_operator import EmailOperatorfrom airflow.o...

1. 启动Web服务器使用如下命令启用:airflow webserver现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI，例如：http://localhost:8080/admin/备注Airflow附带了许多示例DAG。 请注意，在你自己的`dags_folder`中至少有一个DAG定义文件之前，这些示例可能无法正常工作...

前言本次安装Airflow版本为1.10，其需要依赖Python和DB，本次选择的DB为Mysql。本次安装组件及版本如下：Airflow == 1.10Python == 3.6.5Mysql == 5.7Python安装略 详见：Python3安装(Linux环境)安装mysql略 详见：http://note.youdao.com/noteshare?i...

Airflow REST API PluginDescriptionA plugin for Apache Airflow that exposes REST endpoints for the Command Line Interfaces listed in the airflow documentation:http://airflow.incubator.apache.org/...

airflow默认使用utc时间，在中国时区需要用+8小时就是本地时间，下面把airflow全面修改为中国时区，带大家改airflow源码博主使用airflow版本是1.10.0，其它版本大同小异，参照修改即可1. 先讲使用 pip安装apache-airflow 的修改方式    在airflow家目录下修改airflow.cfg，设置 default_timezone = Asi...