
AirFlow
文章平均质量分 93
AIMaynor
个人博客:maynor1024.live,ai网站: vlink.cc/maynorai
展开
-
助力工业物联网,工业大数据之服务域:Shell调度测试【三十三】
使用BashOperator调度执行多个Task,并构建依赖关系。:使用BashOperator调度执行一条Linux命令。step2:安装AirFlow集成Oracle库。step2:安装AirFlow集成MySQL库。:《MySQL任务调度详细操作文档.md》:了解Oracle与MySQL的调度方法。step1:本地安装Oracle客户端。:调度Python代码Task的运行。step1:本地安装MySQL客户端。:实现AirFlow的依赖调度测试。step3:创建Oracle连接。原创 2023-08-17 00:00:00 · 596 阅读 · 1 评论 -
【补充】助力工业物联网,工业大数据之AirFlow安装
修改配置文件:airflow.cfg。上传并执行Anaconda安装脚本。添加Linux用户及组。原创 2023-09-05 15:41:24 · 425 阅读 · 0 评论 -
助力工业物联网,工业大数据之服务域:定时调度使用【三十四】
再启动Executor进程:根据资源配置运行在Worker节点上。step3:提交分布式程序到分布式资源集群运行。AirFlow配置:airflow.cfg。原理:自动发送邮件的原理:邮件第三方服务。:了解AirFlow中如何实现邮件告警。Driver和Executer是什么?与Linux Crontab用法一致。:了解AirFlow的常用命令。发送方账号:配置文件中配置。:了解一站制造中调度的实现。Spark程序的组成结构?Spark的算子分为几类?Task的个数怎么决定?接收方账号:程序中配置。原创 2023-08-18 00:00:00 · 240 阅读 · 0 评论 -
助力工业物联网,工业大数据之服务域:AirFlow的架构组件【三十二】
Task类型:http://airflow.apache.org/docs/apache-airflow/stable/concepts/operators.html常用。原创 2023-08-16 00:00:00 · 338 阅读 · 0 评论 -
助力工业物联网,工业大数据之服务域:AirFlow的介绍【三十一】
目标了解AirFlow的功能特点及应用场景路径step1:背景step2:设计step3:功能step4:特点step5:应用实施起源2014年,Airbnb创造了一套工作流调度系统:Airflow,用来替他们完成业务中复杂的ETL处理。从清洗,到拼接,只用设置好一套Airflow的流程图。2016年开源到了Apache基金会。2019年成为了Apache基金会的顶级项目:http://airflow.apache.org/。设计。原创 2023-08-15 00:00:00 · 394 阅读 · 1 评论