大数据调度平台 Airflow（四）：Airflow WebUI 操作介绍

Airflow WebUI 操作介绍

一、DAG

DAG 有对应的 id,其 id 全局唯一，DAG 是 airflow 的核心概念，任务装载到 DAG 中，封装成任务依赖链条，DAG 决定这些任务的执行规则。

点击以上每个 DAG 对应的 id 可以直接进入对应“Graph View”视图，可以查看当前 DAG 任务执行顺序图。

以上“Runs”列与“Recent Tasks”列下的“圆圈”代表当前 DAG 执行的某种状态，鼠标放到对应的“圆圈”上可以查看对应的提示说明。点击以上“Links”之后，出现以下选项：

• Tree View

将 DAG 以树的形式表示，如果执行过程中有延迟也可以通过这个界面查看问题出现在哪个步骤，在生产环境下，经常通过这个页面查看每个任务执行情况。

点击以上每个有颜色的“小块”都可以看到 task 详情：

• Graph View

此页面以图形方式呈现 DAG 有向无环图，对于理解 DAG 执行非常有帮助，不同颜色代表 task 执行的不同状态。

点击任意一个 task，都可以看到当前 task 执行情况：

• Calendar View

日期视图，显示当前年每月每天任务执行情况。

• Task Duration

此视图表示不同的 task 在过去每天执行的时长，可以通过每日执行时长对比，发现同一个 task 执行耗时情况。

• Task Tries

此视图显示每个 task 重试次数情况。

• Landing Times

Landing Times 显示每个任务实际执行完成时间减去该 task 定时设置调度的时间，得到的小时数，可以通过这个图看出任务每天执行耗时、延迟情况。

以上得到的“Landing Times”如下：

• Gantt

甘特图，可以通过甘特图来分析 task 执行持续时间和重叠情况，可以直观看出哪些 task 执行时间长。

• Details

可以通过“Details”发现任务详细情况。

• Code

Code 页面主要显示当前 DAG python 代码编码，当前 DAG 如何运行以及任务依赖关系、执行成功失败做什么，都可以在代码中进行定义。

二、Security

“Security”涉及到 Airflow 中用户、用户角色、用户状态、权限等配置。

三、Browse

• DAG Runs

显示所有 DAG 状态

• Jobs

显示 Airflow 中运行的 DAG 任务

• Audit Logs

审计日志，查看所有 DAG 下面对应的 task 的日志，并且包含检索。

• Task Instances

查看每个 task 实例执行情况。

• Task Reschedules

Task 重新调度的实例情况。

• SLA Misses

如果有一个或者多个实例未成功，则会发送报警电子邮件，此选项页面记录这些事件。

• DAG Dependencies

查看 DAG 任务对应依赖关系。

四、Admin

在 Admin 标签下可以定义 Airflow 变量、配置 Airflow、配置外部连接等。

五、Docs

Docs 中是关于用户使用 Airflow 的一些官方使用说明文档连接。