azkaban失败任务批量重跑

最新推荐文章于 2022-11-13 11:18:06 发布

原创最新推荐文章于 2022-11-13 11:18:06 发布 · 4.7k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#azkaban

【大数据】azkaban 专栏收录该内容

1 篇文章

订阅专栏

其他接口可以参考官方文档 https://azkaban.readthedocs.io/en/latest/ajaxApi.html

一、mydb查询失败数据（查出projectname和flowid）

select b.name ,a.flow_id from execution_jobs a
INNER JOIN projects b ON a.project_id = b.id
WHERE a.status = 70
and a.attempt=0
and a.start_time > 1551369601000 ORDER by b.name asc

status =70 表示失败状态
attempt=0 表示重试次数
start_time 查收时间段。1551369601000 为时间戳ms 可以在https://tool.lu/timestamp/ 进行转换

在这里插入图片描述

二、拼接curl 命令

2.1）找到sessionid，sessionid这个id是用户登录azkaban的实时sessionid。

2.2）在Excel中拼接，（注意事项：下拉时候日期或者端口会递增，所有只能复制）

curl -k --data "session.id=76ba04cb-c54a-4b43-b40c-590d1385c044&ajax=executeFlow&flowOverride[dt]=2019-03-01&project=azkabanProject&flow=azkabanFlows"  http://localhost:8088/executor?ajax=executeFlow

在这里插入图片描述 project 作业名称，sql查出来的name字段
flow 流程名称，sql查出来的flow_id 字段

三、登录azkaban服务器，直接执行所有拼接好的命令。

执行及返回正确结果入下所示：

[yuhui@hadoop11 ~]$ curl -k --data "session.id=76ba04cb-c54a-4b43-b40c-590d1385c044&ajax=executeFlow&flowOverride[dt]=2019-03-01&project=azkabanProject&flow=azkabanFlows"  http://localhost:8088/executor?ajax=executeFlow
{
  "project" : "azkabanProject",
  "message" : "Execution submitted successfully with exec id 53890",
  "flow" : "azkabanFlows",
  "execid" : 53890
}[yuhui@hadoop11 ~]

之后去azkaban去查看运行的项目

北京小辉微信公众号

在这里插入图片描述