实用:python中的网站日志分析项目完整代码

最新推荐文章于 2025-06-28 10:41:11 发布

原创

最新推荐文章于 2025-06-28 10:41:11 发布 · 2.2k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#日志分析 #python

本文分享了如何在PyCharm中进行网站日志分析的完整Python代码，包括项目的运行步骤和测试.log文件的内容解析。

进入pychram终端:

pip install user-agent pyyaml ua-parser

完整代码:

from pathlib import Path
import datetime
import re
from user_agents import parse
from queue import Queue
import threading
from collections import defaultdict
#192.168.56.1 - - [18/Mar/2019:10:55:04 +0800] "POST /zabbix/jsrpc.php?output=json-rpc HTTP/1.1" 200 64 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36"


#日志格式处理(数据清洗)
def extract(line:str)->dict:
    # print(line)
    pattern = '''(?P<remote>[\d\.]{7,}) - - \[(?P<datetime>[^\[\]]+)\] \"(?P<request>[^\"]+)\" (?P<status>\d+) (?P<size>\d+) \"(?P<reference>[^\"]+)\" \"(?P<useragent>[^\"]+)\"'''
    regex = re.compile(pattern)
    matcher = regex.match(line)
    if matcher:
        return {k:ops.get(k,lambda x:x)(v) for k,v in matcher.groupdict().items()}

def convers_time(src:str):
    ret= datetime.datetime.strptime(