Airflow运维部署功能调研

最新推荐文章于 2025-01-12 15:18:51 发布
最新推荐文章于 2025-01-12 15:18:51 发布
阅读量2.8k 收藏 5
点赞数
分类专栏： 大数据 文章标签： 运维 python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lzhcoder/article/details/120868516
版权
本文详细介绍了Airflow的安装过程，包括Python环境的搭建、使用Anaconda或指定版本Python的方式，以及如何配置虚拟环境。此外，还涵盖了Airflow的使用说明，包括基本概念、DAG文件编写流程、WebUI功能解析以及Task执行情况的查看。同时，文章还提到了生产环境的安装运行模式，如LocalExecutor和CeleryExecutor的配置，并提供了登陆认证的安装与配置方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    目录

1.安装Airflow

1.1安装简介

 1.2安装须知

1.3安装准备

1.4 安装Python3.x

1.4.1安装Anaconda【方式1】

1.4.2安装指定版本Python【方式2】

1.4.3安装pip【python3可跳过】

1.5 安装airflow

1.5.1安装环境准备

1.5.2激活python虚拟环境

1.5.3开始安装

1.5.4生产环境安装运行模式

 2.Airflow使用说明

2.1Airflow基本概念

2.2编写DAG文件流程

2.3编写DAG文件

2.4检查DAG定义文件正确性

2.5WebUI首页功能说明

2.5.1WebUI触发Dag任务

2.5.2首页DAGs表字段和图标说明

2.6查看DAG和Task执行情况

2.7Tree View操作Task任务

2.8Operator Example

2.8.1BashOperator

2.8.2SqoopOperator

2.8.3Spark

2.9自定义Operator 开发

2.10参考资料

1.安装Airflow

1.1安装简介

Airflow是基于python开发的，推荐使用以下安装方式：

  1. Airflow支持python2、python3安装运行。
  2. 使用virtualenv虚拟环境安装airflow，避免多个python版本之间引起的不兼任问题。
  3. Python环境可以用Anaconda（优点：包含绝大部分常用Python依赖库，服务器不能联网安装的情况比较合适。缺点：安装包较大。）或者安装指定版本Python，两种方式根据情况选择安装方式。

1.2安装须知 

开始安装airflow之前需要知道和准备的

  1. Airflow在pip上已经更名为apache-airflow，下载最新版请使用后者pip install apache-airflow。
  2. Airflo
了解本专栏 订阅专栏 解锁全文 超级会员免费看
从0到1，AirFlow搭建踩坑历程
迷恋晓峰
04-27 7475
背景：ETL会经常使用脚本（bash/python）+crontab来运行数据处理任务查看任务执行情况不直观方便，只能登录机器、或者写一个界面/监控存在依赖关系的任务没办法保证，或者保证的方法成本太高任务量达到一定量级，任务的管理将极其棘手调研：Airflow Oozie + Python Code for DAGs --- Java or XML for DAGs + Has connect...
airflow分布式部署、参数配置、优劣势分析、工程经验
haofangasd的博客
10-14 1万+
这是第一篇博客，内容很简单，主要是记录工作中遇到的关于airflow分布式方面的经验。意义在于学习博客的使用，让自己养成技术博客的习惯。 目录 优劣势分析 分布式部署架构简析 分布式参数 调度、业务代码分离 注意事项 优劣势分析 airflow是一个编排、调度和监控workflow的平台，是一个工作任务的调度平台，其内置了比较全面实用的调度功能。下表列出了实际场景下，使用airfl...
Airflow：Python 工作流管理利器
ronon77的专栏
08-18 5856
Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务，或者是大数据的批处理任务，Airflow 可能是能帮助您解决目前困境的神器。本文将为那些想要寻找新的工具或者说不知道有这款工具的同学了解 Airflow 编写工作线提供入门教程。 Airflow 工作流设计称为有向非循环图（DAG）。这意味着，在编写...
airflow 笔记
weixin_34228387的博客
08-28 319
首先是一个比较好的英文网站，可能要fq：http://site.clairvoyantsoft.com/installing-and-configuring-apache-airflow/ ======================================================== py3venv 在 mkdir ~/airflow/py3venv 执行：pyth...
Airflow 中文文档：使用systemd运行Airflow
热门推荐
龙哥盟
11-29 4万+
Airflow可以与基于系统的系统集成。 这使得观察您的守护进程变得容易，因为systemd可以在失败时重新启动守护进程。 在scripts/systemd目录中，您可以找到已在基于Redhat的系统上测试过的单元文件。 您可以将它们复制到/usr/lib/systemd/system 。 假设Airflow将在airflow:airflow下运行airflow:airflow 。 如果不是（或者...
【大数据】【调度】Airflow 和 Azkaban的选型
梦，不可及，所以可期待...
11-29 3411
Airflow和Azkaban这两个组件对大数据集群来说是相对独立的，都是可以独立于集群安装，所以不管是cdh还是hdp集群，都可以选择其中之一作为集群的任务调度系统。 我们公司有2套集群，国内国外各一套，然后因为历史原因国内用的是Azkaban，国外用的是Airflow，考虑到以后技术栈的统一，打算慢慢将两个集群的组件统一化，所以就有了调研两个调度系统对比这件事。 这里就将这两个组件拿出来对比一下，这里没有拿oozie出来说是因为用我用oozie的不多，并且oozie是强依赖于hadoop的，不适合作为.
自动化运维工具链：构建高效自动化运维流程的实战攻略
本文首先概述了自动化运维工具链的概念，随后探讨了自动化工具的选择与集成的重要性、自动化流程设计的最佳实践以及部署流程的自动化。文中还分析了基础设施即代码、灾难恢复与备份策略自动化和日志管理与分析自动化...
Flyte工作流(Workflow)平台调研（五）——扩展集成
最新发布
weixin_43837507的博客
01-12 1269
Flyte 提供多种集成方式，涵盖外部服务插件、SDK 和操作器，满足不同场景下的工作流编排需求。外部服务插件如 AWS Athena、Batch 和 Hive，利用云服务或大数据平台处理任务；SDK（如 flytekit 和 flytekit-java）支持以 Python、Java/Scala 编写任务；操作器如 Airflow 集成，实现跨平台触发 Flyte 工作流。这些集成增强了 Flyte 的灵活性和扩展性，帮助用户高效处理复杂任务。
Apache Atlas产品调研
zhen_hero的博客
06-20 2266
元数据是关于数据的数据，是为了描述数据的相关信息而存在的数据。元数据是用数据管理数据，是快速查找数据、精确定位数据、准确理解数据和有效使用数据的关键。元数据管理还须符合数据标准、较高的数据质量、数据安全、数据共享、合理顺滑管理流程。在存储、计算和人力成本合理可控、可管理的前提下，使数据价值得到最大发挥，是数据全生命周期管理重要组成部分，是提升数据价值发挥的前提，是数据治理的基石。
airflow_demo:使用Sqoop从Mysql向Hive导入增量数据的Airflow脚本
05-14
代码演示，如何编写基本的Airflow以实现从Mysql到Hive的增量导入。 ＃问题陈述：-MySQL具有名为'employee_profile'的表，该表具有雇员信息，包括名字，姓氏和SSN。 脚本应检查表中是否有新记录和修改过的记录，并使用修改后的更新记录更新相应的配置单元表，并且配置单元中还应具有带有屏蔽的社会安全号（SSN）的附加表。 使用Sqoop实现增量导入，并使用Airflow自动化该过程。 1）设定数据 我）在MySQL中创建表 CREATE TABLE `employee_profile` ( `profile_id` VARCHAR(255) NOT NULL, `first_name` VARCHAR(45) NULL, `last_name` VARCHAR(45) NULL, `modified_date` DATETIME NULL, `
airflow initdb 报 UnicodeEncodeError 和 ab_permission_view_role doesn‘t exist
xufwind的博客
02-20 981
使用mysql作为airflow的数据库，在airflow.cfg中设置字符编码为utf-8,在初始化airflow数据库时还是会碰到如下错误: UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-3: character maps to <undefined> 这种还是在编码设置问题上，处理需要在airflow.cfg中设置编码 sql_engine_encoding = utf-8 还需要在.
airflow第一个自定义Operator
weixin_34403693的博客
07-30 1220
2019独角兽企业重金招聘Python工程师标准>>> ...
用户画像—Airflow作业调度(ETL)
u014156013的博客
09-17 6110
最近在弄画像标签每天ETL的调度事情，这篇文章分享一下一个开源的ETL工具Airflow。   一、基础概念 Airflow是Airbnb内部发起并开源的一个ETL管理平台，使用Python编写实现的任务管理、调度、监控工作流平台。这是其官方文档地址：Apache Airflow (incubating) Documentation ，关于airflow产品的使用，里面有详细的介绍。 ...
【已解决】Router.use() requires a middleware function
程序边界
09-17 1831
Router.use() requires a middleware function
airflow重启
wuchongyong的博客
09-21 1805
airflow 重启
Airflow学习笔记
zhangliushi的博客
10-09 806
Airflow学习笔记，包括页面主要功能模块，脚本编写，参数注意点等。
airflow详细安装过程
yingkongshi99的专栏
09-25 1万+
airflow是Airbnb开源出的一个数据流管理工具，关于使用，可参考官网http://pythonhosted.org/airflow/ 现将安装过程及踩过的坑分享给大家。 安装airflow （为了避免对其他程序造成影响，故不想替换掉原有的python2.6.6，此处希望2.6与2.7两个版本共存，而且安装的pip、virtualenv等软件，也只希望在python27
浅谈Airflow调度系统
厚积薄发
11-29 1437
一、调度系统 1.1 为什么需要调度系统？ 因为⼤数据的任务多、复杂化就会有不同的需求： 单个任务 串联、并联任务 要⽀持⼦节点、依赖节点 数据抽取 任务失败重试机制 补数机制 发邮件等 任务种类多、需求多样化所以说我们需要调度系统 1.2 调度系统有⼏多 ⼯作之后，很多童鞋和我⼀样最先接触到的应该是Linux⾃带的定期执⾏程序命令 crontab，使⽤简单、运⾏稳定、上⼿容易但是也有⾃⼰的缺点⽐如任务多了之后⽆法管 理、没有依赖关系。 因此我们在这⾥对crontab不做过多介绍，主
airflow入坑指南
u013496080的博客
10-31 2150
1.安装 默认的安装目录是在~/airflow目录下，为了安装到制定目录需要配置环境变量 vi /root/.bashrc # vi  /etc/profile  没起作用 &gt;&gt; export AIRFLOW_HOME=/data/airflow #修改默认安装目录 source /root/.bashrc  # source /etc/profile #使配置生效 sudo pi...
airflow安装部署
09-09
要安装和部署Airflow，您可以按照以下步骤进行操作： 1. 安装依赖项：首先，您需要确保已安装Python和pip。然后，使用以下命令安装Airflow的依赖项： ``` pip install apache-airflow ``` 2. 初始化数据库：运行以下命令来初始化Airflow的元数据库（SQLite 或其他支持的数据库）： ``` airflow db init ``` 3. 创建管理员账号：运行以下命令来创建Airflow的管理员账号： ``` airflow users create \ --username admin \ --firstname Admin \ --lastname User \ --role Admin \ --email admin@example.com ``` 您可以替换`admin`、`Admin User`、`admin@example.com`等为您想要的用户名、姓名和电子邮件。 4. 启动Web服务器和调度器：运行以下命令以启动Airflow的Web服务器和调度器： ``` airflow webserver --port 8080 airflow scheduler ``` Web服务器将在默认端口8080上运行，您可以根据需要更改端口号。 以上是基本的安装和部署步骤。您还可以配置其他设置，如执行器、连接器和认证方式等。可以通过编辑`airflow.cfg`文件来进行配置。 注意：请确保在部署Airflow之前阅读官方文档以获取更详细的说明和最新的更新。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与算法架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值