由于工作需要,服务器每周需巡检一次。除了内存、cpu、磁盘、网络连接等数据外,还有不同的服务。
为加快巡检速度和知晓服务器状况,我使用了multiprocessing.dummy
多线程、pampy
模式匹配和一个elementUI
组件,这些工具确能帮忙处理实际问题:
- 一行代码实现并行
- 原本二十多台服务器巡检用
shell
需3分钟完成,用multiprocessing.dummy
模块后只需十几秒
- 原本二十多台服务器巡检用
pampy
模式匹配
搭配正则,匹配出2块磁盘的使用率,方便前端页面展示。数据是从真实服务器上获取的。
import re
from pampy import match
disk_usage = 'diskname: /dev/vda1 used: 35G nouse: 59G USAGE: 35.35% diskname: /dev/vdb1 used: 278G nouse: 190G USAGE: 56.39%'
re_regular = re.compile('diskname: (/\\w+/\\w+).*USAGE: (.*)% diskname: (/\\w+/\\w+).*USAGE: (.*)%')
m= match(disk_usage, re_regular, lambda a,b,c,d: b+','+d)
print(m)
结果如下:35.35,56.39
匹配好后,这2个值很方便就能在前端页面进行展示了
- 使用
elementUI
的progress进度条
展示内存百分比
这是elementUI
官网的进度条组件
这是使用它的效果:
下面详细介绍这3点:
1. 一行代码实现并行
在某台服务器上做免密钥登录,能直连到其它服务器执行shell
脚本,之前的巡检是通过shell
脚本执行的:
#登录不同的ip,依次执行/home/ssw/目录下的检查脚本
for ip in `cat /home/ssw/iplist`;do ssh user@$ip "/bin/sh /home/ssw/weekly_check.sh";done
因为是串行执行,经常等到花儿都谢了。于是改用python
去执行这些shell
命令:cpu、内存、磁盘
的检查命令都一样,不同的服务只需定义一个字典,根据ip添加相关命令。再pool.map()
一行实现多线程
# -*- coding: utf-8 -*-
import paramiko
import json
from datetime import datetime
import traceback
from pprint import pprint
from multiprocessing.dummy import Pool as ThreadPool
def weekly_check(ip):
#基础巡检指标
cmds_dict = {'cpu_usage':'TIME_INTERVAL=5;LAST_CPU_INFO=$(cat /proc/stat | grep -w cpu | awk \'{print $2,$3,$4,$5,$6,$7,$8}\');LAST_SYS_IDLE=$(echo $LAST_CPU_INFO | awk \'{print $4}\');LAST_TOTAL_CPU_T=$(echo $LAST_CPU_INFO | awk \'{print $1+$2+$3+$4+$5+$6&