日志分析之信息提取

最新推荐文章于 2025-09-23 00:43:22 发布

原创

最新推荐文章于 2025-09-23 00:43:22 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#信息提取

本文探讨了日志分析中的信息提取，重点介绍了代码实现和运行结果。通过示例展示了如何从常见的如nginx、tomcat等Web服务器的日志中抽取关键数据。

日志分析之信息提取

如下是最常见的日志，nginx、tomcat等WEB Sever 都会产生这样的日志。如何提取出数据？

代码实现

line = '''183.60.212.153 - -[19/Feb/2013:10:23:29 +0800] \
"GET /o2o/media.html?menu=3 HTTP'1.1" 200 26691 "-"\
"Mozila/5.0(compatible;EasouSpider;+http://www.easou.com/search/spider.html"'''
CHARS = set("\t")

def makekey (line:str):
    start = 0
    skip = False
    for i, c in enumerate(line):
        if not skip and c in '"[': # [ 或 第一个引号
            start = i +1
            skip = True
        elif skip and c in '"]': # 第二个引号 或 ]
            skip = False
            yield line [start:i]
            start = i + 1
            continue

    if skip:  # 如果遇到[ 或第一个引号就跳过
        continue

    if c in CHARS:
        if start == i:
            start = i +1
            continue
        yield line [start:1]
        start = i +1
else:
    if start <len(line):
        yield line [start:]

print(list(makekey(line))