zhangxiping

背景 公司一般做业务监控都是采用实时任务的方式，实时任务的可用性就更加需要保障了。 监控脚本 #!/bin/bash #去azkaban数据库获取所有的实时任务名称，stream开头的 #stream.sql #use azkaban; #SELECT name FROM azkaban.projects where name like 'stream_%' and active =1; mysql -hhdh06.c.p.xyidc -uuser -ppasswd <stream.sql >a

背景 实现CDH服务出现异常能够及时通知。 脚本实现 #! /bin/bash #异常服务出现次数累加数量 export count=0 #异常服务列表 export BADserver #单次轮询标志位,0 无异常服务,1 有异常服务 export sc=0 #轮询次数累加数量 export lxcount=0 while true do # 每三分钟轮询 /home/azkaban/serveies.txt 里配置监控的cdh服务 while read line do

背景 在运行spark任务时，可能因为某种异常问题导致任务没有正常退出。一直处于假死异常状态。这就需要我们通过一直机制发现这样的情况。 #!/bin/bash todaydate=`expr $(date +%s) \* 1000` yarn application -list -appStates running |grep "application_"|grep -v "stream" |awk '{print $1}' | while read line do yarn application