墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
600+累计阅读
632平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
Apache Airflow 是一个提供基于 DAG 有向无环图来编排工作流的、可视化的分布式任务调度平台，与 Oozie、Azkaban 等任务流调度平台类似。Airflow 在 2014 年由 Airbnb 发起，2016 年 3 月进入 Apache 基金会，在 2019 年 1 月成为顶级项目。Airflow 采用 Python 语言编写，提供可编程方式定义 DAG 工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。
另外，Airflow 提供了 WebUI 可视化界面，提供了工作流节点的运行监控，可以查看每个节点的运行状态、运行耗时、执行日志等。也可以在界面上对节点的状态进行操作，如：标记为成功、标记为失败以及重新运行等。在 Airflow 中工作流上每个 task 都是原子可重试的，一个工作流某个环节的 task 失败可自动或手动进行重试，不必从头开始跑。
Airflow 官网：http://airflow.apache.org/，Airflow 支持的任务调度类型如下：
大数据任务调度：DolphinScheduler、Airflow 实战（调度策略、任务依赖）
DolphinScheduler 适合大数据 ETL、数仓建设，提供可视化管理。Airflow 适合灵活的数据工程和 ML 任务，扩展性更强。最佳实践建议：大数据任务（Spark、Hive、Flink）→ 推荐 DolphinScheduler复杂 Python 任务（机器学习、API 任务）→ 推荐 Airflow混合使用：可以结合两者，DolphinScheduler 调度 Airflow 任务，提高灵活性。选择合适的工具，能够大幅提升数据处理的自动化程度和稳定性！
浅谈大数据任务调度平台
谈到大数据，避免不了hadoop, hive, spark 这些基础套件，但是在整个大数据开发的时候，我们面对的基本上都是数据开发平台和任务调度系统。数据开发平台一般直接面对业务同学，很大程度上影响业务同学的开发效率和节奏。而任务调度系统像一个黑盒一样，使用方一般都是数据开发的同学。但是任务调度系统在整个大数据体系中却占据着核心的地位。本人刚好负责一家互联网上市公司的调度平台，本文将通过几个方面介绍以下调度平台的基本功能，和在工作中的使用经验。
大数据调度平台Airflow（一）：什么是Airflow
什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。 另外，Airflow提供了WebUI可视化界面，提供了工作流节点的运行
Airflow 实践笔记-从入门到精通一
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。Airflow项目2014年在Airbnb的Maxime Beauchemin开始研发airflow，经过5年的开源发展，airflow在2...
大数据调度平台Airflow（八）：Airflow分布式集群搭建及测试
目录 Airflow分布式集群搭建及测试 一、节点规划 二、airflow集群搭建步骤 1、在所有节点安装python3.7 2、在所有节点上安装airflow 三、初始化Airflow 1、每台节点安装需要的python依赖包 2、在node1上初始化Airflow 数据库 四、创建管理员用户信息 五、配置Scheduler HA 1、下载failover组件 2、使用pip进行安装failover需要的依赖包 3、node1节点初始化failover
大数据调度平台Airflow（二）：Airflow架构及原理
目录 Airflow架构及原理 一、Airflow架构 二、Airflow术语 三、Airflow工作原理 Airflow架构及原理 一、Airflow架构 Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图： Airflow架构图如下： Airflow在运行时有很多守护进程，这些进程提供了airflow全部功能，守护进程包括如下： webserver： WebServer服务器可以接收HTTP请求，用于提.
大数据调度平台Airflow（五）：Airflow使用
以上python文件就是Airflowpython脚本，使用代码方式指定DAG的结构。
大数据标准化自动化：基于Airflow的调度方案
新人接手任务时，只要填写模板的参数，就能生成DAG；任务失败时，Airflow会自动重试，重试失败会发送告警；故障排查时，只要看Web界面的DAG图，就能快速找到问题所在。凌晨3点的告警电话再也没响过，小张终于能睡个安稳觉了。而这一切的变化，源于他们从"救火队员"变成了"流程设计者"——用Airflow把"混乱的流程"变成了"标准化的流水线"。大数据的价值不在于"数据多"，而在于"数据能高效产生价值"。
Airflow: 大数据调度工具详解
Apache Airflow是一款开源的工作流调度平台，广泛应用于ETL流程、数据处理、定时任务和机器学习工作流等场景。其通过Python脚本定义DAG，实现任务的编排和调度，提供友好的Web UI进行监控和管理。Airflow具备灵活性高、扩展性好、可视化界面等优点，但也存在配置复杂、性能开销等挑战。通过合理的部署和优化，Airflow可以显著提升数据处理和调度的效率，成为数据工程师和数据科学家不可或缺的工具。
手把手拆解DGX GB200 NVL72：1个机柜如何塞进72块GPU？详解NVLink Switch铜缆背板设计
本文深度解析英伟达DGX GB200 NVL72系统如何通过NVLink Switch铜缆背板设计，在标准42U机柜中集成72块B200 GPU，实现1800GB/s的超高带宽。文章详细介绍了模块化架构、铜缆互连技术、液冷散热方案和高密度供电系统等核心创新，为AI算力需求提供突破性解决方案。
告别‘小目标’丢失！手把手复现DNANet红外检测网络（PyTorch版）
本文详细介绍了如何使用PyTorch从零实现DNANet红外小目标检测网络，重点解析了DNIM模块和CSAM注意力机制的设计与实现。通过实战教程，帮助开发者解决红外小目标检测中的特征提取和训练调参难题，适用于军事侦察、安防监控等场景。
大数据组件(一)快速入门调度组件Airflow
大数据组件(一)快速入门调度组件Airflow：案例详解
从零到自动化：用Python脚本搞定华为CE12800的NETCONF初始配置（含完整代码）
本文详细介绍了如何使用Python脚本实现华为CE12800交换机的NETCONF初始配置自动化。从环境准备、脚本架构设计到SSH连接与NETCONF配置实战，提供了完整的代码示例和错误处理建议，帮助运维工程师高效完成网络设备自动化配置，提升工作效率。
Airflow 从入门到入土 一：初识任务调度与 Airflow
大数据领域任务调度平台 Airflow 的入门介绍，详细介绍了 airflow 是用来干嘛的。
别再凭感觉选电容了！手把手教你计算电机控制器里的母线电容（附Excel计算工具）
本文详细解析了电机控制器中母线电容的选型方法，从理论计算到工程实践，帮助工程师避免常见误区。通过精确计算纹波电压、电容容量等关键参数，并结合薄膜电容与电解电容的性能对比，提供实用的选型建议。附带的Excel计算工具可快速完成参数计算，适用于工业伺服驱动和电动车电机控制器设计。
2025年7月12日全国青少年信息素养大赛图形化（Scratch）编程小学低年级组复赛真题+答案解析
2025年7月12日全国青少年信息素养大赛图形化（Scratch）编程小学低年级组复赛真题+答案解析
大数据调度平台Airflow（六）：Airflow Operators及案例
定义依赖的触发规则，包括选项如下{all_success|all_failed|all_done|one_success|one_failed|none_failed|none_failed_or_skipped|none_skipped|dummy(无条件执行)}defaultisall_success。在“bash_command”中写执行脚本时，一定要在脚本后跟上空格，有没有参数都要跟上空格，否则会找不到对应的脚本。...
MicroBlaze系列教程（5）：AXI_UART16550的使用
axi-uart16550是Xilinx的一款串口IP核，支持配置成16450或16550模式，16550和16450是指的早期电脑主板上的串口芯片型号，16550相比于16450多了FIFO，现在已经很少使用。相比于，16550支持1或2位停止位，包括uartlite所有的功能，而且支持在SDK中灵活对波特率、数据、校验方式进行配置。与uartlite不同的是，不能单独指定发送中断和接收中断函数，只有一个中断函数，通过event参数来区分当前是发送或接收中断。
任务流调度工具AirFlow
目标了解AirFlow的功能特点及应用场景路径step1：背景step2：设计step3：功能step4：特点step5：应用实施起源2014年，Airbnb创造了一套工作流调度系统：Airflow，用来替他们完成业务中复杂的ETL处理。从清洗，到拼接，只用设置好一套Airflow的流程图。2016年开源到了Apache基金会。2019年成为了Apache基金会的顶级项目：http://airflow.apache.org/。设计。
基于Simulink实现电动汽车电机驱动系统的建模与仿真
通过上述步骤，我们成功实现了基于Simulink的电动汽车电机驱动系统的建模与仿真。该系统能够全面评估电机驱动系统的性能，验证控制策略的有效性，并通过优化设计提高车辆的动力性和效率。引入智能预测：结合人工智能技术，实现更智能的控制策略。扩展功能：增加对多种电机类型的支持，提升系统通用性。实验验证：将仿真模型应用于实际硬件，进行实验验证，评估其在实际工况下的表现。
C# + NAudio：构建支持实时音频处理的语音聊天应用（含回声消除）
本文介绍了如何利用C#和NAudio库开发实时语音聊天应用，重点实现回声消除功能。首先概述了NAudio库在音频处理中的作用，包括音频录制、播放和实时处理能力。然后详细讲解了构建基础语音聊天应用的过程，包括麦克风录制和扬声器播放的实现。接着深入探讨了回声消除的原理和实现方法，提出通过比较麦克风输入和扬声器输出的音频信号来消除回声，并给出了核心代码示例。最后，文章还讨论了性能优化方向，如多线程处理和网络传输扩展。该方案为开发高质量实时语音应用提供了实用参考。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
1818
扫一扫
