python 分析 nginx 日志 ip 并存入sqlite 数据库

最新推荐文章于 2024-11-09 23:28:57 发布

原创最新推荐文章于 2024-11-09 23:28:57 发布 · 3.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sqlite #nginx #python #file #import #table

Lang.Python 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一个使用Python和SQLite处理Nginx日志文件的脚本案例。该脚本读取指定目录下的.log文件，过滤掉内部IP记录，并将剩余的IP地址数据插入到SQLite数据库中。最后通过SQL查询统计出现频率超过1000次的IP地址。

什么也不说，直接上代码

import sqlite3 import os import string import fileinput path_log_nginx = r"E:/xxx-logs/20100904" conn = sqlite3.connect('log.db') c = conn.cursor() #c.execute('''drop table log''') c.execute('''create table log(ip text)''') for file in os.listdir(path_log_nginx): if not file.endswith(".log"): print "WARN:%s is not a log file" %(file) continue print "INFO:process file %s" %(file) for line in fileinput.input(os.path.join(path_log_nginx, file)): if line.startswith("192.168."): continue; c.execute("insert into log (ip) values ('%s')" %(line[0:line.find(" - - [")])) conn.commit() #c.execute("select ip, count(*) c from log group by ip having c > 1000 order by c desc") # We can also close the cursor if we are done with it c.close() # print "done..."

完工后

sqlite3.exe log.db

> select ip, count(*) c from log group by ip having c > 1000 order by c desc;