Linux日志分析

最新推荐文章于 2023-09-16 12:25:26 发布

原创最新推荐文章于 2023-09-16 12:25:26 发布 · 284 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#linux #运维 #日志分析

本文详细介绍如何使用shell命令处理web服务器日志，包括统计IP访问频率、特定日期的访问情况、页面访问热度等，帮助理解网站流量模式。

1、统计日志中访问最多的10个IP ？

第一步：按照IP进行将记录排序。

第二步：按照IP去重，并且显示重复次数

第三步：按照次数升序排列

第四步：显示前10行

[root@ chenc01 log]# cat /var/log/httpd/access_log|awk -F" " '{print $1}' |sort|uniq -c|sort -nrt " "|awk -F" " '{print $2}' |head -10

2、统计日志中访问大于100次的IP ？

# 方法一：
[root@ chenc01 ~]# cat /var/log/httpd/access_log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}'
# 方法二：
[root@ chenc01 ~]# awk '{a[$1]++;if(a[$1]>100){b[$1]++}}END{for(i in b){print i,a[i]}}' /var/log/httpd/access_log

3、统计2020年1月9日一天内访问最多的10个IP ？

# 方法一：
[root@ chenc01 ~]# grep '09/Jan/2020' /var/log/httpd/access_log | awk '{ips[$(NF-1)]++}END{for (i in ips){print i,ips[i]}}' | sort -k2 -rn | head -n10
# 方法二：
[root@ chenc01 ~]# sed -n '/\[9\/Apr\/2016:00:00:01/,/\[9\/Apr\/2016:23:59:59/p' /var/log/httpd/access_log |sort |uniq -c |sort -k1 -nr |head -n10

4、统计当前时间一分钟内的访问数？

# 方法一：
[root@ chenc01 ~]# grep -c $(date -d '-1 minute' +09/Jan/2020:11:26) /var/log/httpd/access_log
# 方法二：
[root@ chenc01 ~]# date=$(date -d '-1 minute' +09/Jan/2020:11:26);awk -vdate=$date '$0~date{c++}END{print c}' /var/log/httpd/access_log

5、统计访问最多的前十个页面？

# 方法一：
[root@ chenc01 ~]# cat /var/log/httpd/access_log |cut -d ' ' -f 1 |sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10
# 方法二：
[root@ chenc01 ~]# cat /var/log/httpd/access_log |awk '{a[$7]++}END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}'

6、统计每个URL访问内容的总大小？

# 方法一：
[root@ chenc01 ~]# grep '09/Jan/2020' /var/log/httpd/access_log |awk '{urls[$7]++;size[$7]+=$10}END{for(i in urls){print urls[i],size[i],i}}' |sort -k1 -nr
# 方法二：
[root@ chenc01 ~]# awk '{a[$7]++;size[$7]+=$10}END{for(i in a)print a[i],size[i],i}' /var/log/httpd/access_log

7、统计每个IP访问的状态数量？

[root@ chenc01 ~]# awk '{a[$1" "$9]++}END{for(i in a)print i,a[i]}' /var/log/httpd/access_log

8、统计访问状态码为404的IP及出现次数

# 方法一：
[root@ chenc01 ~]# grep '09/Jan/2020' /var/log/httpd/access_log |awk '{if($9="404"){ips[$1]++}}END{for(i in ips){print i,ips[i]}}' |sort -k2 -nr
# 方法一：
[root@ chenc01 ~]# awk '{if($9~/404/)a[$1" "$9]++}END{for(i in a)print i,a[i]}' /var/log/httpd/access_log