从0到1，AirFlow搭建踩坑历程

最新推荐文章于 2024-03-26 05:59:25 发布

原创

最新推荐文章于 2024-03-26 05:59:25 发布 · 置顶 · 7.4k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#airflow #oozie #workflow

背景：

ETL会经常使用脚本（bash/python）+crontab来运行数据处理任务
查看任务执行情况不直观方便，只能登录机器、或者写一个界面/监控
存在依赖关系的任务没办法保证，或者保证的方法成本太高
任务量达到一定量级，任务的管理将极其棘手

调研：

Airflow	Oozie
+ Python Code for DAGs	--- Java or XML for DAGs
+ Has connectors for every major service/cloud providers	- hard to build complex pipelines
+ More versatile	- smaller, less active community
+ Advanced metrics

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

迷恋晓峰

关注关注

3
点赞
踩
8

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Airflow vs Luigi vs Prefect：Python ETL 框架对比

s13596191285的博客

05-25

369

下面是一篇符合要求的技术对比文章，全文结构多层级，深入原理，并在每段至少引用两处权威文献或官方资料。文章约5000字（5000+汉字），使用专业术语、复杂句式，并附有经典与创新代码示例、案例分析、测试方法、未来趋势等内容。 --- ## 引言在当今数据驱动的时代，**ETL（Extract-Transform-Load）**流程作为数据工程的核心环节，承担着从多源系统抽取数据、进行清洗转换并加载到目标仓库或分析平台的重任。随着数据量呈指数级增长以及业务需求对实时性、可靠性和可维护性的要求不断提升，各

从0到1搭建智能数字资产追踪系统：AI架构师的实战笔记（含踩坑记录）

最新发布

AI架构全栈开发实战笔记

08-07

193

过去3年，全球数字资产市场规模从2万亿美元飙升至5万亿美元，资产类型从单一的加密货币扩展到NFT、STO、数字货币基金等10余种。数据碎片化：股票在券商App、加密货币在交易所、NFT在钱包，数据分散在不同平台，格式不统一；实时性不足：手动更新数据延迟超2小时，而数字资产价格可能每分钟波动10%；分析能力弱：仅能展示「当前价格」，无法预测趋势、识别异常交易或关联资产风险；个性化缺失：无法根据用户风险偏好、持仓结构提供定制化建议。

1 条评论您还未登录，请先登录后发表或查看评论

Docker部署Gunicorn项目时的坑

shmily77love的博客

08-27

1998

G坑一：Docker run 之后没反应什么都没有日志都没有检查Gunicorn配置文件，原来使用了daemon = True参数，这个参数是将Guncorn放到后台运行，所以消失了并且没有任何输出。解决方案：屏蔽daemon参数坑二：Gunicorn没有Flask的日志输出启动后只有Gunicorn的日志，而没有Flask的日志解决方案：在Flask里面添加 if __name__!= '__main__': import logging #如果不是直接运...

Gunicorn服务器gunicorn_conf.py常用配置详解以及 Gunicorn日志invalid HTTP method

本博客记录了从2014年以来在工作学习中遇到的技术问题、解决方法以及部分个人人生经历、经验等内容。

03-26

1858

gunicorn配置可通过gunicorn启动命令行中设定，也可通过配置文件指定。使用配置文件更加方便。不过今天在配置gunicorn_conf的日志配置时碰到了access_log_format无效，gunicorn的日志配置相关参数有4个，分别是accesslog，access_log_format，errorlog，loglevel。accesslog:访问日志路径，同nginx的access_log；accesslog = '-' # 记录到标准输出，不会输出文件。

Airflow2.2.3 + Celery + MYSQL 8构建一个健壮的分布式调度集群

Marionxue

01-05

3404

airflow详细安装过程

热门推荐

yingkongshi99的专栏

09-25

1万+

airflow是Airbnb开源出的一个数据流管理工具，关于使用，可参考官网http://pythonhosted.org/airflow/ 现将安装过程及踩过的坑分享给大家。安装airflow （为了避免对其他程序造成影响，故不想替换掉原有的python2.6.6，此处希望2.6与2.7两个版本共存，而且安装的pip、virtualenv等软件，也只希望在python27

airflow 使用心得，从环境到部署上线

猴子饲养员的博客

05-12

8162

使用版本： python 3.6.8 apache-airflow 1.10.3 安装 python 环境准备 apache-airflow 对于 python 版本限制如下： requires Python '>=2.7,!=3.0.*,!=3.1.*,!=3.2.*,!=3.3.*,!=3.4.*' # wget 用于下载源码包， gcc 和 make 用于编译 yum instal...

Linux Workflow Airflow CeleryExecutor 踩坑心酸历程

迷恋晓峰

05-10

9636

本篇所使用的系统环境为 Centos 6.8，Python 3.6.5，Airflow 1.9.0 Airflow 的搭建可以参考从0到1，AirFlow搭建踩坑历程安装RabbitMQ 1.安装erlang erlang地址：http://www.rabbitmq.com/releases/erlang/ 使用 rpm -ihv 安装 ...

Apache Airflow实战指南：从入门到精通

08-07

本书《Data Pipelines with Apache Airflow》旨在帮助读者全面掌握Apache Airflow，涵盖从基础概念到高级应用的各个方面。全书分为四个部分，第一部分介绍Airflow的基本概念和操作，包括构建和调度数据管道。第二...

airflow踩坑记录

weixin_42130167的博客

07-09

2348

参考链接：https://www.cnblogs.com/jimtheman/p/8465754.html 1、初始化airflow后，链接数据库改为postgresql，但是测试task时总是报错： (env) ××@pc:~/workspace/airflow$ airflow test example_bash_operator run_after_loop 2019-07-06 sq...

gunicorn配置文件

weixin_42143550的博客

08-21

3958

工作中使用gunicorn作为服务器的时候，通过配置文件来启动的，gunicorn启动参数可以从–help中获取，但是配置文件中，没有，下面是一些常见的选项的配置和说明 gunicorn_conf.py import logging import logging.handlers from logging.handlers import WatchedFileHandler impo...

关于终端中输入airflow webserver,出现打不开的问题如何解决？

weixin_41893060的博客

06-07

2867

1.出现问题：sqlalchemy.exc.OperationalError: (_mysql_exceptions.OperationalError) (2002, "Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2)") (Background on this error at...

airflow 安装，部署，填坑

somezz的专栏

08-15

8568

阅读本文大约需要 8 分钟。上一篇文章已经介绍过 airflow ，相信需要的人早已上网搜索相关资料，已经开始动手干了，没错，就是干，喜欢一件事件，请立即付诸行动，不要拖，时间一长，就凉了。 Python 的包管理工具 pip 是一个非常优秀的工具，Python 相关的库都可以使用 pip 安装，airflow 也不例外。废话不多说，直接上操作步骤。截止目前 2018年8月14日...

airflow分布式部署踩坑记录之安装篇<1>

记录点滴成长......

07-20

4406

前言 airflow是一款基于python的开源任务流调度系统，但是关于airflow的安装教程比较匮乏。本人在亲自安装的过程中遇到了很多奇葩的问题，期间也参考了网上的各种资料，在此做下记录，以备不时之需。系统环境操作系统 Centos6.5 python 2.7.12 如果你拿到的是一台新安装了Centos6.5系统的机器，那么你可能要多做一些准备工作： 1.检查你的机...

Tensorflow - ValueError: Parent directory of model.ckpt doesn't exist, can't save

echo_1994的博客

10-30

1996

超强，一用一个准参考：Tensorflow - ValueError: Parent directory of trained_variables.ckpt doesn’t exist, can’t save

用户画像—Airflow作业调度(ETL)

u014156013的博客

09-17

6135

最近在弄画像标签每天ETL的调度事情，这篇文章分享一下一个开源的ETL工具Airflow。一、基础概念 Airflow是Airbnb内部发起并开源的一个ETL管理平台，使用Python编写实现的任务管理、调度、监控工作流平台。这是其官方文档地址：Apache Airflow (incubating) Documentation ，关于airflow产品的使用，里面有详细的介绍。 ...

Airflow 从0开始

ccxuxuxu的专栏

12-15

504

1.安装版本 airflow 1.10.6 python 3.6 安装安装python3.6, 创建虚拟环境 [root@ip-172-27-0-4 upload]#yum install python36 [root@ip-172-27-0-4 upload]# virtualenv -p /usr/bin/python3 ./air-flow [root@ip-172-27-...

airflow 安装方法 centos 6.5

Excaliburace的博客

12-22

2921

airflow最简安装方法 centos 6.5python新司机, 所以使用anaconda安装python及其所需要的包, 不用担心缺包导致的各种各样的问题 1. anaconda下载地址:https://www.continuum.io/downloads linux版的直接戳这里-linux 64位和这里-linux 32位 2. 将所下载的anaconda脚本考到

Airflow使用指南

weixin_30722589的博客

07-17

735

1.只执行单个任务将downstream和recursive按钮的点击状态取消,然后点击clear,最后点击run 转载于:https://www.cnblogs.com/tonglin0325/p/11199189.html

如何从 0-1 搭建数仓

03-27

嗯，用户现在问的是如何从0到1搭建数仓。首先，我需要回想之前用户问的问题，他们之前询问过需求调研和数据整理的工作流程，现在可能是在同一个项目中的后续步骤。用户可能是一位刚入行的大数据工程师，或者是一个...