大数据调度平台 Airflow(四):Airflow WebUI 操作介绍

AirFlow 管理界面使用 文章目录AirFlow管理界面的使用AirFlow 的webserver UIDAGS作业操作框查看日志所有的任务实例记录了所有DAG的运行情况XComsFlower UI (待补充) AirFlow管理界面的使用 AirFlow 的webserver UI DAGS 左侧 On/Off 按钮控制 DAG 的运行状态,Off 为暂停状态,On 为运行状态。注意:所有 DAG 脚本初次部署完成... 阅读详情
AI摘要

文章介绍了Airflow的WebUI操作,包括DAG的概念及其在GraphView、TreeView、CalendarView等视图中的展示,以及Security、Browse和Admin等模块的功能。DAG是Airflow的核心,用于构建任务依赖关系。用户可以通过不同视图监控任务状态、执行时长和重试次数等。Security涉及用户权限配置,Browse包含DAGRuns、Jobs等信息,Admin用于配置Airflow参数。

Airflow WebUI 操作介绍

一、DAG

DAG 有对应的 id,其 id 全局唯一,DAG 是 airflow 的核心概念,任务装载到 DAG 中,封装成任务依赖链条,DAG 决定这些任务的执行规则。

点击以上每个 DAG 对应的 id 可以直接进入对应“Graph View”视图,可以查看当前 DAG 任务执行顺序图。

以上“Runs”列与“Recent Tasks”列下的“圆圈”代表当前 DAG 执行的某种状态,鼠标放到对应的“圆圈”上可以查看对应的提示说明。点击以上“Links”之后,出现以下选项:

  • Tree View

将 DAG 以树的形式表示,如果执行过程中有延迟也可以通过这个界面查看问题出现在哪个步骤,在生产环境下,经常通过这个页面查看每个任务执行情况。

点击以上每个有颜色的“小块”都可以看到 task 详情:

  • Graph View

此页面以图形方式呈现 DAG 有向无环图,对于理解 DAG 执行非常有帮助,不同颜色代表 task 执行的不同状态。

点击任意一个 task,都可以看到当前 task 执行情况:

  • Calendar View

日期视图,显示当前年每月每天任务执行情况。

  • Task Duration

此视图表示不同的 task 在过去每天执行的时长,可以通过每日执行时长对比,发现同一个 task 执行耗时情况。

  • Task Tries

此视图显示每个 task 重试次数情况。

  • Landing Times

Landing Times 显示每个任务实际执行完成时间减去该 task 定时设置调度的时间,得到的小时数,可以通过这个图看出任务每天执行耗时、延迟情况。

以上得到的“Landing Times”如下:

  • Gantt

甘特图,可以通过甘特图来分析 task 执行持续时间和重叠情况,可以直观看出哪些 task 执行时间长。

  • Details

可以通过“Details”发现任务详细情况。

  • Code

Code 页面主要显示当前 DAG python 代码编码,当前 DAG 如何运行以及任务依赖关系、执行成功失败做什么,都可以在代码中进行定义。

二、Security

“Security”涉及到 Airflow 中用户、用户角色、用户状态、权限等配置。

三、Browse

  • DAG Runs

显示所有 DAG 状态

  • Jobs

显示 Airflow 中运行的 DAG 任务

  • Audit Logs

审计日志,查看所有 DAG 下面对应的 task 的日志,并且包含检索。

  • Task Instances

查看每个 task 实例执行情况。

  • Task Reschedules

Task 重新调度的实例情况。

  • SLA Misses

如果有一个或者多个实例未成功,则会发送报警电子邮件,此选项页面记录这些事件。

  • DAG Dependencies

查看 DAG 任务对应依赖关系。

四、Admin

在 Admin 标签下可以定义 Airflow 变量、配置 Airflow、配置外部连接等。

五、Docs

Docs 中是关于用户使用 Airflow 的一些官方使用说明文档连接。

大数据调度平台 Airflow(二):Airflow 架构及原理 Airflow 我们可以构建 Workflow 工作流,工作流使用 DAG 有向无环图来表示,DAG 指定了任务之间的关系,如下图:Airflow 架构图如下:Airflow 在运行时有很多守护进程,这些进程提供了 airflow 全部功能,守护进程包括如下:webserver:WebServer 服务器可以接收 HTTP 请求,用于提供用户界面的操作窗口,主要负责中止、恢复、触发任务;监控任务;断点续跑任务;查询任务状态、详细日志等。 阅读详情

相关推荐

Apache Airflow (三) :Airflow WebUI操作介绍

🏡🚩 私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。s。

qq_32020645的博客 928

Airflow web 页面介绍

趁我未失忆之前,记录过去曾经的自己 文章目录前言一、DAG1.Tree View2.Graph View3.Tasks Duration4.Task Tries5.Gantt6.Details7.code二、執行 DAG三、Browse 浏览标签1.SLA Misses2.DAG Runs3.Jobs4.Audit logs5.Task Instance6.Task Reschedule四、Admin标签五、Docs标签与Security标签 前言 这一篇只介绍Airflow web 页面介绍,想要了解架

qq_39841823的博客 1783

大数据调度平台Airflow(四):Airflow WebUI操作介绍

Airflow WebUI操作介绍 一、DAG DAG有对应的id,其id全局唯一,DAG是airflow的核心概念,任务装载到DAG中,封装成任务依赖链条,DAG决定这些任务的执行规则。 点击以上每个DAG对应的id可以直接进入对应“Graph View”视图,可以查看当前DAG任务执行顺序图。 以上“Runs”列与“Recent Tasks”列下的“圆圈”代表当前DAG执行的某种状态,鼠标放到对应的“圆圈”上可以查看对应的提示说明。点击以上“Links”之后,出现以下选项: Tree

Lansonli(蓝深李)的博客 5637

Airflow环境搭建

Airflow环境搭建

weixin_63881558的博客 3861

大数据调度平台Airflow(一):什么是Airflow

什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台,与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起,2016年3月进入Apache基金会,在2019年1月成为顶级项目。Airflow采用Python语言编写,提供可编程方式定义DAG工作流,可以定义一组有依赖的任务,按照依赖依次执行, 实现任务管理、调度、监控功能。 另外,Airflow提供了WebUI可视化界面,提供了工作流节点的运行

Lansonli(蓝深李)的博客 4241

大数据调度平台Airflow(八):Airflow分布式集群搭建及测试

目录 Airflow分布式集群搭建及测试 一、节点规划 二、airflow集群搭建步骤 1、在所有节点安装python3.7 2、在所有节点上安装airflow 三、初始化Airflow 1、每台节点安装需要的python依赖包 2、在node1上初始化Airflow 数据库 四、​​​​​​​创建管理员用户信息 五、​​​​​​​配置Scheduler HA 1、下载failover组件 2、使用pip进行安装failover需要的依赖包 3、node1节点初始化failover

Lansonli(蓝深李)的博客 1万+

大数据调度平台Airflow(五):Airflow使用

以上python文件就是Airflowpython脚本,使用代码方式指定DAG的结构。

lisheng19870305的专栏 1万+

大数据调度平台Airflow(二):Airflow架构及原理

目录 Airflow架构及原理 一、Airflow架构 二、Airflow术语 三、Airflow工作原理 Airflow架构及原理 一、Airflow架构 Airflow我们可以构建Workflow工作流,工作流使用DAG有向无环图来表示,DAG指定了任务之间的关系,如下图: Airflow架构图如下: Airflow在运行时有很多守护进程,这些进程提供了airflow全部功能,守护进程包括如下: webserver: WebServer服务器可以接收HTTP请求,用于提.

Lansonli(蓝深李)的博客 2856

大数据调度平台 Airflow(五):Airflow 使用

以上 python 文件就是 Airflow python 脚本,使用代码方式指定 DAG 的结构。

wr_java的博客 2522

VBOX 3iS实战:如何用GNSS+IMU搞定车辆动态坡度测量(附避坑指南)

本文详细介绍了VBOX 3iS在车辆动态坡度测量中的高阶应用,通过GNSS+IMU融合技术和卡尔曼滤波算法,有效解决了传统测量方法在动态环境中的局限性。文章提供了设备配置、实战策略和数据后处理的实用指南,帮助工程师提升测量精度和效率。

weixin_42520796的博客 321

VMD分子可视化实战:5个隐藏技巧让你的科研图像秒变顶刊级别

本文深入探讨了VMD分子可视化软件在科研图像美化中的5个高阶技巧,旨在帮助研究者将分子结构图提升至顶刊级别。内容涵盖原子色彩与材质的艺术化定制、沉浸式分子环境构建、专业构图与视角控制、数据驱动的动态可视化以及自动化工作流建立,通过精细的色彩映射、光照调整、周期性边界展示和脚本自动化,显著增强图像的科学叙事性与视觉冲击力。

weixin_29240343的博客 420

解读分布式调度平台Airflow在华为云MRS中的实践

Airflow是一个使用Python语言编写的分布式调度平台,通过DAG(Directed acyclic graph 有向无环图)来管理任务。

华为云官方博客 1403

从零到英雄:WSL2与Ubuntu22.04的终极性能调优指南

本文详细介绍了如何在Windows系统中通过WSL2与Ubuntu22.04进行性能调优,涵盖内核定制、GPU加速、网络优化等关键技巧,帮助开发者打造媲美原生Linux的高性能开发环境,特别适合AI训练和大数据处理等资源密集型任务。

weixin_29218509的博客 523

大数据调度平台 Airflow(一):什么是 Airflow

Airflow 采用 Python 语言编写,提供可编程方式定义 DAG 工作流,可以定义一组有依赖的任务,按照依赖依次执行, 实现任务管理、调度、监控功能。另外,Airflow 提供了 WebUI 可视化界面,提供了工作流节点的运行监控,可以查看每个节点的运行状态、运行耗时、执行日志等。也可以在界面上对节点的状态进行操作,如:标记为成功、标记为失败以及重新运行等。在 Airflow 中工作流上每个 task 都是原子可重试的,一个工作流某个环节的 task 失败可自动或手动进行重试,不必从头开始跑。

wr_java的博客 632

如何加载交易策略EA到MT4/MT5

1、打开MT4/MT5软件 2、首先,必须有一个EA,而且必须是mq4/ex4为扩展名。点击左上角“文件”—“打开数据文件夹”,找到安装路径 3、将EA的ex4或mq4文件放到MT4目录\MQL4\Experts里面(本文以名为Demo的EA为例) 4、如果有DLL库文件,复制到experts目录下的libraries子目录中 5、如果有tpl模板文件,复制到templates目录中 6、添加完成后重启MT4,点击允许EA运行图标 7、在导航中找到刚才安装的EA,拖拽到...

weixin_41364817的博客 7359

如何在 UniApp 中接入讯飞语音听写功能 文末附vue3+vue2完整代码

在开发过程中,我遇到了讯飞接口返回空数据的问题。通过仔细检查传送的每一帧数据,我发现问题出在第一帧的配置信息以及 Base64 数据的切片。确保每一帧的数据正确且符合接口要求,问题就能够得到解决。希望这个过程能帮助你在项目中顺利对接讯飞语音识别。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 995

大数据调度平台Airflow(三):Airflow单机搭建

Airflow是基于Python的,就是Python中的一个包。安装要求Python3.6版本之上,MetadataDataBase支持PostgreSQL9.6+,MySQL5.7+,SQLLite3.15.0+。

lisheng19870305的专栏 3951

【GB28181】wvp-GB28181-pro++ZLMediaKit编译安装国标流媒体服务器教程(Windows平台)

本文基于ZMLMediaKit+WVP-PRO在windows平台进行编译部署GB28181平台,网上教程也比较多,都大同小异,实际操作过程中容易出错的地方也比较多:redis安装无密码,mysql安装后密码的修改以及wvp数据可的创建,配置文件侧修改,尤其是和端口相关的项,再就是运行服务时各种错误需要注意,常见的错误已经做了汇总,遇到问题大家不要怕,找到报错的地方查看定位即可。

废人一枚的博客 4477

[大数据调度] - AirFlow新版时区问题优化

[大数据调度] - AirFlow新版时区问题优化

Pushkin.的博客 3044

ROCm rocr-libhsakmt分析系列1-2:多GPU跨卡VRAM访问机制分析

本文基于ROCr-Runtime的libhsakmt库源码,深入分析了多GPU系统中跨设备内存访问的实现机制。主要内容包括: 实现流程概述:通过P2P拓扑发现、统一虚拟地址空间、页表映射和硬件转发四个步骤,实现零拷贝的跨GPU内存访问。

图形/计算GPU的驱动与虚拟化技术分享园地 2501

链路状态路由协议 OSPF (一)

本章将会学习链路状态路由协议OSPF,理解OSPF的基本概念,工作原理,掌握OSPF配置基本命令。本章重点,OSPF的基本概念,OSPF配置。

yj11290301的博客 3475

大数据调度系统AirFlow全知全解+使用案例篇

大数据调度系统,最全讲解篇 AirFlow 概念和使用案例 AirFlow Operator AirFlow Executor AirFlow 新特性 AirFlow教程

Pushkin.的博客 1万+

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

上一篇: 大数据调度平台 Airflow(一):什么是 Airflow
下一篇: 大数据调度平台 Airflow(二):Airflow 架构及原理
wrr-cat
博客等级 码龄9年 128粉丝 302原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值