如何使用 Python 分析 web 访问日志？从零基础到精通，收藏这篇就够了！

最新推荐文章于 2025-04-10 22:21:01 发布

程序员_大白

最新推荐文章于 2025-04-10 22:21:01 发布

阅读量601

点赞数 17

分类专栏：渗透测试程序员职业与发展文章标签： python 前端开发语言

本文链接：https://blog.youkuaiyun.com/Python_0011/article/details/145869619

版权

程序员同时被 3 个专栏收录

1193 篇文章

订阅专栏

职业与发展

308 篇文章

订阅专栏

渗透测试

199 篇文章

订阅专栏

本次公开课由我们 Python 实战班第 18 期的课程教师 KK 为大家做分享。

主题：如何使用 Python 分析 Web 访问日志

内容

Python 基础
字符串、字典、文件、时间
Web 访问日志
实战
提问

主讲师：KK

多语言混搭工程师，热爱开源技术，喜欢GET新技能，5年 PHP、Python 项目开发经验，带领团队完成多个中、小型项目开发，对安全、云等多个领域富有浓厚兴趣，擅长于 WEB 安全开发、性能优化、分布式应用开发&设计等多方面，做事认真负责，乐于分享技能，现任 51Reboot.com Python 实战班讲师

任何语言都有使用场景，只有合适和不合适，没有好坏。语言是工具，用来描述让计算机如何工作，想法(思路&算法)是基础，也是重点。

字符串

像姓名、一句话描述这样的文
使用单引号、双引号、三个单引号或三个双引号引起来的一些字符

字符串有哪些函数

split分隔字符串为list

format 格式化字符串

字典定义

定义
使用大括号包含
每个元素为key:value的格式
元素之间使用逗号分隔

练习

一、统计 list 中每个元素出现的次数

languages = [‘python’, ‘java’, ‘python’, ‘c’, ‘c++’, ‘go’, ‘c#’, ‘c++’, ‘lisp’, ‘c’, ‘javascript’, ‘java’, ‘python’, ‘matlab’, ‘python’, ‘go’, ‘java’]

提示：

统计结果为 element:count 的形式，统计结果采用 dict 从左到右依次遍历 list 中元素，判断是否在 dict 中，如果不在则将 element 存入 dict 并设置 count 为 1，否则将 dict中element 对应的 count 加 1 后再存储到dict中。

二、统计文章中每个英文字母出现的次数

article = ‘I was not delivered unto this world in defeat, nor does failure course in my veins. I am not a sheep waiting to be prodded by my shepherd. I am a lion and I refuse to talk, to walk, to sleep with the sheep. I will hear not those who weep and complain, for their disease is contagious. Let them join the sheep. The slaughterhouse of failure is not my destiny.’
提示：判断是否为英文单词
if (element > ‘a’ and element < ‘z’) or (element > ‘A’ and element < ‘Z’)

字典的 Key

Key 必须为不可变数据类型
数字
整数
浮点数
字符串
布尔类型
列表 X
元组
子元素必须也不可变(“a”, “b”)
(“a”, ["b“]) X
字典 X

字典有哪些函数

文件

自己在电脑上打开 word 文件的操作顺序

在计算机盘符中找到对应的文件
鼠标双击打开文件（选择查阅的工具）
查阅文件内容/编辑文件内容
如果有编辑文件内容保存文件
关闭文件

文件操作

打开文件
fhandler = open(path, mode, …)
path 为文件路径
mode 为打开文件方式及文件类型

mode	打开文件方式
r	读(默认)
w	写
x	创建并写
a	追加
r+	读写
w+	写读
x+	创建并写读
a+	追加读

关闭文件

fhandler.close()

mode	文件类型
t	文本(默认)
b	二进制

遍历文件内容

时间

Web 访问日志

Web 访问日志是 Web 服务器记录的网站被访问的过程日志
日志属性
什么时候
什么人
通过什么工具
以什么方式
访问了什么资源
* 结果是什么（状态/返回数据大小）

Web 访问日志日志格式

通用日志格式

127.0.0.1 - - [14/May/2017:12:45:29 +0800] “GET /index.html HTTP/1.1” 200 4286

远程 - - 主机 IP 请求时间时区方法资源协议状态码发送字节
组合日志格式

127.0.0.1 - - [14/May/2017:12:51:13 +0800] “GET /index.html HTTP/1.1” 200 4286 “http://127.0.0.1/” "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36“

远程主机 IP - - 请求时间时区方法资源协议状态码发送字节 referer 字符浏览器信息

Web访问日志日志示例