九维团队-青队（处置）| 深入浅出小科普之分析web日志入门，从零基础到精通，收藏这篇就够了！

写在前边

在安全服务中，攻击和防御都属于是常态任务。在受到网络攻击后，日志和流量就是最重要的东西，这两样东西可以帮助我们溯源，还原攻击链。

但很多刚入门的小伙伴不清楚web日志该如何分析？看着这一条条数据是否头大？不用担心，今天的文章就来教你如何分析日志。

（ps：在ctf中，日志分析和流量分析也是常考的一个考点，花几分钟阅读一下这篇文章，也能对分析ctf有所帮助哦~）

日志分析的基础

STEP 1

首先我们要知道，web日志存放在哪？

windows服务器先打开“Internet 信息服务”，选择你的网站属性，下面有“启用日志记录”，一般会有三个选项：W3C扩展日志文件格式、Microsoft IIS 日志文件格式、NCSA公用日志文件格式。

默认是W3C扩展日志文件格式，选择右边的属性，下面会有日志文件名(如：W3SCC1\ncyymmdd.log)。

日志存放目录一般是:

C:\WINDOWS\system32\LogFiles，如果你要打开日志文件夹，那么地址就是：C:\WINDOWS\system32\LogFiles\W3SCC1。

如果用虚拟主机的可以到服务器商的后台选择日志保存后用 FTP去下载，一般都放在log文件夹内（注：Linux的web日志在/var/log/）。

STEP 2

知道了日志存放位置，下面来看看web日志的格式吧。

以下方日志为例：

192.168.200.186 - - [26/Oct/2017:05:36:44 +0000] “GET /bbsnews.php HTTP/1.1” 404 449 “-” “-”

让我们来逐条看一下这段日志透露了怎样的信息：

**Who：**192.168.200.186代表访问者的IP地址，即谁访问了我？

W****hen：[26/Oct/2017:05:36:44 +0000]代表访问的时间，什么时候来访问的我？

注：后面的+0000代表英国时间！中国时间应该是+0800。

Where：GET代表请求方式，怎么访问的我？

What：/bbsnews.php代表访问的文件，访问了我哪个文件？HTTP/1.1代表使用的协议，此处很明显是HTTP协议。

“404”代表我做出的响应，响应码为404。

注：响应码200代表访问成功，30x代表跳转，40x代表访问资源不存在，50x代表服务器错误。

449代表响应长度，发送给客户端文件主体内容大小。

后面两个参数一个记录的是http_referer用来记录从哪个页面链接访问过来，另外一个则是用户的浏览器信息。

显然这个日志并没有记录，推测可能的原因就是响应没成功。

趁热打铁

让我们再来看一条响应成功的日志：

192.168.200.88 - - [26/Oct/2017:05:36:53 +0000] “GET / HTTP/1.1” 200 2019 “http://192.168.200.107/vulnerabilities/sqli_blind/” “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36”

结合上边的简易教程，我们再来对这条日志进行分析，整理得到如下结论：

IP地址为192.168.200.88的用户在2017年10月26日 5点36分53秒（英国时间）通过get方式访问了网站根目录，使用的协议是HTTP，响应码为200，我返回给客户端的文件内容大小为2019，客户端是从以下网址：http://192.168.200.107/vulnerabilities/sqli_blind/跳转过来的。使用的浏览器为Chrome/61.0.3163.100。

通过这样一条日志，我们就还原出了整个访问过程。如果是攻击日志，就能够还原攻击链，一条条分析。

STEP 3

攻击分析：

观察这段日志，你看到了什么异样吗？

仔细观察时间，我们可以看到日志显示该IP在一秒内访问了多个文件，响应码为404。如果是正常访问，一秒内是不可能访问这么多的，可以推断出肯定是软件，那么这是在进行什么攻击呢？

再仔细看一下，我们会发现每次访问的文件都不一样，在一秒内发出这么多请求，可以推断肯定就是目录扫描：攻击者通过自己的字典进行扫描存在的目录，只要响应码为200，即说明文件存在，这样就能获取一些敏感信息。

据此，我们可以判定该IP为攻击者，进行后续处理即可。

日志分析的技巧

在对WEB日志进行安全分析时，一般可以按照两种思路展开，逐步深入，还原整个攻击过程。

第一种：

确定入侵的时间范围，以此为线索，查找这个时间范围内可疑的日志，进一步排查，终确定攻击者，还原攻击过程。

第二种：

攻击者在入侵网站后，通常会留下后门维持权限，以便再次访问，我们可以找到该文件，并以此为线索来展开分析。

常用的日志分析指令

下面为大家介绍几个常用的日志分析命令：

1、列出当天访问次数多的IP命令：

cut -d- -f 1 log_file|uniq -c | sort -rn | head -20

*左右滑动查看更多

2、查看当天有多少个IP访问：

awk '{print $1}' log_file|sort|uniq|wc -l

*左右滑动查看更多

3、查看某一个页面被访问的次数：

grep "/index.php" log_file | wc -l

4、查看每一个IP访问了多少个页面：

awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file

*左右滑动查看更多

5、将每个IP访问的页面数进行从小到大排序：

awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n

*左右滑动查看更多

6、查看某一个IP访问了哪些页面：

grep ^111.111.111.111 log_file| awk '{print $1,$7}'

*左右滑动查看更多

7、去掉搜索引擎统计当天的页面：

awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l

*左右滑动查看更多

8、查看2022年6月21日14时这一个小时内有多少IP访问:

awk '{print $4,$1}' log_file | grep 21/Jun/2022:14 | awk '{print $2}'| sort | uniq | wc –l

*左右滑动查看更多

日志分析案例

Web日志分析实例：

通过nginx代理转发到内网某服务器，内网服务器某站点目录下被上传了多个图片木马，虽然II7下不能解析，但还是想找出是谁通过何种路径上传的。

在这里，我们遇到了一个问题：由于设置了代理转发，只记录了代理服务器的IP，并没有记录访问者IP？这时候，如何去识别不同的访问者和攻击源呢？

这其实是管理员日志配置不当的问题，但好在我们可以通过浏览器指纹来定位不同的访问来源，还原攻击路径。

STEP 1

1、定位攻击源

首先访问图片木马的记录，只找到了一条，由于所有访问日志只记录了代理IP，并不能通过IP来还原攻击路径，这时候，可以利用浏览器指纹来定位：

定位攻击源：

more log_file | grep "asp;."

STEP 2

2、搜索相关日志记录

通过筛选与该浏览器指纹有关的日志记录，可以清晰地看到攻击者的攻击路径。

筛选与该浏览器指纹有关的日志记录：

more log_file  |grep "指纹信息"

STEP 3

3、对找到的访问日志进行解读攻击者的访问路径

打开网站，访问(上传文件)n.aspx，确认攻击者通过该页面进行文件上传了图片木马，同时发现网站存在越权访问漏洞，攻击者访问特定URL，无需登录即可进入后台界面。通过日志分析找到网站的漏洞位置并进行修复。

STEP 4

4. 日志统计分析技巧

IP统计：

grep '23/May/2019' /www/logs/access.2022-10-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -r -n | head -n 10

*左右滑动查看更多

统计域名：

cat /www/logs/access.2022-10-23.log |awk '{print $2}'|sort|uniq -c|sort -rn|more

*左右滑动查看更多

URL 统计：

 cat /www/logs/access.2022-10-23.log |awk '{print $7}'|sort|uniq -c|sort -rn|more

*左右滑动查看更多

统计爬虫：

grep -E 'Googlebot|Baiduspider' /www/logs/access.2022-03-10.log | awk '{ print $1 }' | sort | uniq

*左右滑动查看更多

统计网段：

cat /www/logs/access.2022-03-10.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3".0"}' | sort | uniq -c | sort -r -n | head -n 200

*左右滑动查看更多

IP、URL抽取：

tail -f /www/logs/access.2022-10-23.log | grep '/test.html' | awk '{print $1" "$7}'

*左右滑动查看更多

统计浏览器：

cat /www/logs/access.2022-03-10.log | grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' | sort | uniq -c | sort -r -n | head -n 100``HTTP Status`    `cat /www/logs/access.2022-10-23.log |awk '{print $9}'|sort|uniq -c|sort -rn|more

*左右滑动查看更多

文件流量统计：

cat /www/logs/access.2022-10-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more`     `grep ' 200 ' /www/logs/access.2022-10-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more

*左右滑动查看更多

URL访问量统计：

cat /www/logs/access.2022-10-23.log | awk '{print $7}' | egrep '\?|&' | sort | uniq -c | sort -rn | more

*左右滑动查看更多

脚本运行速度最慢的：

grep -v 0$ /www/logs/access.2022-10-23.log | awk -F '\" ' '{print $4" " $1}' web.log | awk '{print $1" "$8}' | sort -n -k 1 -r | uniq > /tmp/slow_url.txt

*左右滑动查看更多

总之，web日志分析对于安服人员来说是十分重要且基础的技能，对其进行深入学习研究将会有助于应急排查工作。

参考文章及推荐阅读：

1.web服务器遭受黑客攻击时的日志分析及排查``https://www.isolves.com/it/aq/fwq/2019-11-06/7392.html``   ``2.Web日志安全分析技巧``https://mp.weixin.qq.com/s?src=11&timestamp=1666144314&ver=4113&signature=r3TvXFgD2brJ2aqleqHOsxgZOUzURiim00hscEHRh7djoX-1rEhSDZVRA7kdwdKpMm6DnNYSAlYyhsE7cQVqZCrDSy3nAq68CCMDuHhuuyvbX*rL5KbIWx1e36JOyfAy&new=1``   ``3.应急响应之Web日志分析``https://mp.weixin.qq.com/s?src=11&timestamp=1666144658&ver=4113&signature=E35IeZaCoAFZ4WsjblMSEuQkASbxBt9CatVQt3d14bXaPJii1iJAL1aqvg5AVgMtqo4LpPHie7CLaBA4-khCf*CW1YRg3l3Q*0nLeLX5Jja7uc5DMS1KpIgJcilPnNsK&new=1``   ``4.Web日志的研究分析``http://www.oh100.com/peixun/Web_Services/425691.html

— 往期回顾 —