DAY10

告警系统配置文件
告警系统mon.conf配置文件，主要定义一些开关、日志的路径、某应用的用户名、密码、IP、端口

## to config the options if to monitor
## 定义mysql的服务器地址、端口以及user、password
to_mon_cdb=0   ##cdb等于0 or 1, default 0,0 not monitor, 1 monitor
db_ip=10.20.3.13
db_port=3315
db_user=username
db_pass=passwd
## httpd   如果是1则监控，为0不监控
to_mon_httpd=0
## php 如果是1则监控，为0不监控
to_mon_php_socket=0
## http_code_502  需要定义访问日志的路径
to_mon_502=1
logfile=/data/log/xxx.xxx.com/access.log
## request_count   定义日志路径以及域名
to_mon_request_count=0
req_log=/data/log/www.discuz.net/access.log
domainname=www.discuz.net

告警系统监控项目
告警系统load.sh（监控系统负载）

#! /bin/bash
##Writen by aming##
load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1`
#获取负载值
if [ $load -gt 10 ] && [ $send -eq "1" ]
#判断是否超负载，同时判断是否开启负载监控项
then
    echo "$addr `date +%T` load is $load" >../log/load.tmp
    /bin/bash ../mail/mail.sh adai_mail@163.com "$addr\_load:$load" `cat ../log/load.tmp`
#超出设定的负载值后，发送邮件
fi
echo "`date +%T` load is $load"
#记录日志

告警系统502.sh（监控web服务器502错误）

#! /bin/bash
d=`date -d "-1 min" +%H:%M`
#因为监控主脚本一分钟执行一次，所以监控的内容为系统一分钟之前的状态
c_502=`grep :$d:  $log  |grep ' 502 '|wc -l`
if [ $c_502 -gt 10 ] && [ $send == 1 ]; then
     echo "$addr $d 502 count is $c_502">../log/502.tmp
     /bin/bash ../mail/mail.sh $addr\_502 $c_502  ../log/502.tmp
fi
echo "`date +%T` 502 $c_502"

告警系统disk.sh（监控磁盘使用率）

#! /bin/bash
##Writen by aming##
rm -f ../log/disk.tmp
for r in `df -h |awk -F '[ %]+' '{print $5}'|grep -v Use`
##awk -F '[ %]+'  以一个或多个“[ %]”空格和百分号作为分隔符
##即awk可以一次指定多种分隔符（同时生效）
do
    if [ $r -gt 90 ] && [ $send -eq "1" ]
then
    echo "$addr `date +%T` disk useage is $r" >>../log/disk.tmp
fi
if [ -f ../log/disk.tmp ]
#判断该文件是否存在
then
    df -h >> ../log/disk.tmp
    /bin/bash ../mail/mail.sh $addr\_disk $r ../log/disk.tmp
    echo "`date +%T` disk useage is nook"
else
    echo "`date +%T` disk useage is ok"
fi

告警系统邮件引擎
cd mail

vim mail.py

#!/usr/bin/env python
#-*- coding: UTF-8 -*-
import os,sys
reload(sys)
sys.setdefaultencoding('utf8')
import getopt
import smtplib
from email.MIMEText import MIMEText
from email.MIMEMultipart import MIMEMultipart
from  subprocess import *
def sendqqmail(username,password,mailfrom,mailto,subject,content):
    gserver = 'smtp.qq.com'
    gport = 25
    try:
        msg = MIMEText(unicode(content).encode('utf-8'))
        msg['from'] = mailfrom
        msg['to'] = mailto
        msg['Reply-To'] = mailfrom
        msg['Subject'] = subject
        smtp = smtplib.SMTP(gserver, gport)
        smtp.set_debuglevel(0)
        smtp.ehlo()
        smtp.login(username,password)
        smtp.sendmail(mailfrom, mailto, msg.as_string())
        smtp.close()
    except Exception,err:
        print "Send mail failed. Error: %s" % err
def main():
    to=sys.argv[1]
    subject=sys.argv[2]
    content=sys.argv[3]
##定义QQ邮箱的账号和密码，你需要修改成你自己的账号和密码（请不要把真实的用户名和密码放到网上公开，否则你会死的很惨）
    sendqqmail('1234567@qq.com','aaaaaaaaaa','1234567@qq.com',to,subject,content)
if __name__ == "__main__":
    main()
    
    
#####脚本使用说明######
#1. 首先定义好脚本中的邮箱账号和密码
#2. 脚本执行命令为：python mail.py 目标邮箱 "邮件主题" "邮件内容"

vim mail.sh

log=$1
t_s=`date +%s`
#时间戳1
t_s2=`date -d "2 hours ago" +%s`
#时间戳2（两个小时之前的时间）
#定义该时间戳的目的是保证第一次执行该脚本时v大于一小时
#因为只有发生故障的时候才会执行该脚本，所以第一次执行必须要报警
if [ ! -f /tmp/$log ]
then
    echo $t_s2 > /tmp/$log
fi
#创建记录时间戳的日志文件
t_s2=`tail -1 /tmp/$log|awk '{print $1}'`
echo $t_s>>/tmp/$log
v=$[$t_s-$t_s2]
#两个时间戳的间隔时间
echo $v
#计时器：
if [ $v -gt 3600 ]
then
#如果时间间隔大于3600s，则启动报警系统
    ./mail.py  $1  $2  $3
    echo "0" > /tmp/$log.txt
#$log.txt为计数器文件：
else
    if [ ! -f /tmp/$log.txt ]
    then
        echo "0" > /tmp/$log.txt
    fi
#查看计数器文件中的数字
    nu=`cat /tmp/$log.txt`
    nu2=$[$nu+1]
    echo $nu2>/tmp/$log.txt
#重置$log.txt数值
    if [ $nu2 -gt 10 ]
    then
#告警收敛：该故障持续十分钟，开始报警
         ./mail.py  $1 "trouble continue 10 min $2" "$3"
         echo "0" > /tmp/$log.txt
#告警结束后重新开始计数
    fi
fi

运行告警系统
将告警任务写入计划任务中，每分钟执行一次

crontab -e 

* * * * * cd /usr/local/sbin/mon/bin ; bahs main.sh

手动执行脚本

查看日志

不需要监控502


暂时不需要写入日志


执行脚本