小试python - 日志文件归并处理

最新推荐文章于 2025-06-19 16:07:59 发布

原创最新推荐文章于 2025-06-19 16:07:59 发布 · 5.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #csv #file #output #import #服务器

Lang.Python 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一种使用Python脚本自动处理Web服务器日志的方法，包括从服务器获取日志、按特定格式收集、归档、解析错误信息，并将其汇总到CSV文件中，供后续人工分析。

应用前提：N台Web机，每天产生大量的日志，先用python脚本从服务器取出，并按xxx_ip_yyyyMMdd_hhmmss.log格式收集，tar.gz后传到本机，用python将主要的Cause by Error等重要错误信息提取到csv文件，供专人跟踪日志。

#! /usr/bin/env python # -*- coding: utf-8 -*- #@author jinqinghua@gmail.com #@version 2010-08-17 02:21 import os import string import fileinput #日志的位置 dir_log = r"D:/python/logs" #日志合并后的文件位置 file_csv = os.path.join(r"F:", "log.csv" ) if os.path.exists(file_csv): os.remove(file_csv) output = open(file_csv, 'w+') output.write("ip,line number,error type, error cause/n") for file in os.listdir(dir_log): if not file.endswith(".log"): print "WARN:%s is not a log file" %(file) continue print "INFO:process file %s" %(file) for line in fileinput.input(os.path.join(dir_log, file)): for type in ('Caused ', ): #'ERROR ', 'WARN '): if line.find(type) != -1 : output.write("%s,%s,%s,%s" %(file[4:16], fileinput.filelineno(), type, string.replace(line, ",", "|"))) fileinput.close() output.close print "done, python is great!"