数据仓库任务调度器-Azkaban | 案例测试2＜电话报警通知机制＞

最新推荐文章于 2024-07-28 22:59:50 发布

原创最新推荐文章于 2024-07-28 22:59:50 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #大数据 #数据仓库

Azkaban 专栏收录该内容

3 篇文章

订阅专栏

本文详细指导如何在大数据项目中通过Azkaban配置电话报警机制，涉及睿象云平台集成、Azkaban-web配置和实际操作步骤，确保任务失败或成功时能即时通知项目负责人。

文章目录

一、内容说明
二、准备工作
三、配置电话报警机制
总结

一、内容说明

此文章主要向大家演示在大数据项目中使用Azkaban作为任务调度器的时候，当任务发生错误和失败,又或者任务执行成功时怎么部署实现Azkaban自动电话报警通知项目负责人，在上一篇文章中针对邮件报警配置做了详细的描述，这篇文章中我将演示借助睿象云平台实现Azkaban的电话报警机制。同时，需要有一个126邮箱，此邮箱地址将会交给Azkaban使用，作为自动报警机制的发件人通知睿象云进行打电话通知项目负责人
接下来，我将为大家一步一步的讲解如何实现Azkaban电话报警机制，如果对您有用，感谢一键三连。

二、准备工作

安装配置好azkaban
注册一个126邮箱，并将POP3/SMTP服务设置为开启模式，且保存扫码发送短信后邮箱给的权限码，不会操作的在此文章中有详细描述

三、配置电话报警机制

1. 配置睿象云

在浏览器中搜索睿象云，点击进入红色框中这个链接
点击免费试用
注册睿象云账号，已有的可忽略这一步
登录睿象云
选择 智能告警 平台
点击上方的集成，然后下拉列表选择 Email
配置应用名和邮箱地址，点击获取保存
这个邮箱地址是Azkaban调度时在web页面中设置的收件人邮箱
点击上方的配置，然后点击 通知策略，再点击右上角的 新建通知策略
进行配置通知策略，选项可根据自己需求进行选择，最后点击保存

2. 配置azkaban-web

进入azkaban-web/conf目录下,对azkaban.properties进行配置

配置邮件发送人 ,mail.sender和mail.host在文件中已有，我们还需要在文件中添加mail.user= 和 mail.password，配置如下，password填写授权码，授权码在开启POP3/SMTP服务时保存，host为邮箱的SMTP服务器地址
```
mail.sender=xuxiang_ethan@126.com
mail.host=smtp.126.com
mail.user=xuxiang_ethan@126.com
mail.password=此处填写邮箱授权码
```
启动Azkaban-exec
激活Azkaban-exec
在保存azkaban信息的数据库中查看是否激活，active为1表示激活，0表示未激活
启动Azkaban-web

至此，azkaban的配置完成

3. 案例实操

需求：
JobC依赖JobA和JobB

1.在windows本地编写mail.project文件
```
azkaban-flow-version: 2.0
```

2.编写mail.flow文件

nodes:
- name: JobA
type: command
config:
  command: echo "I am JobA"
- name: JobB
type: command
config:
  command: echo "I am JobB"
- name: JobC
type: command
dependsOn:
  - JobA
  - JobB
config:
  command: echo "I am dependence JobA and JobB"

演示Azkaban任务成功时报警

1. mail.project、mail.flow放在一个文件夹中，并将文件夹打包为zip压缩包

压缩包
在这里插入图片描述

1. 进入azkaban-web的页面进行登录，用户名和密码在前面的安装中有详细说明，在azkaban-web/conf/azkaban-users.xml中
1. 创建项目
1. 上传压缩包
1. 点击Executor Flow查看任务流程图
1. 点击左侧的 Notification 配置邮件报警的收件邮箱
1. 填写报警收件人邮箱地址，此时填写的是 睿象云 上配置的那个邮箱地址
  睿象云中的邮件地址
  在Azkaban的通知中进行配置任务调度执行成功通知
1. 执行调度流程-点击右下角的Executor
  
  任务执行成功，同时收到睿象云平台的告警电话