Linux日志分析

1、统计日志中访问最多的10个IP ？

第一步：按照IP进行将记录排序。

第二步：按照IP去重，并且显示重复次数

第三步：按照次数升序排列

第四步：显示前10行

[root@ chenc01 log]# cat /var/log/httpd/access_log|awk -F" " '{print $1}' |sort|uniq -c|sort -nrt " "|awk -F" " '{print $2}' |head -10

2、 统计日志中访问大于100次的IP ？

# 方法一：
[root@ chenc01 ~]# cat /var/log/httpd/access_log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}'
# 方法二：
[root@ chenc01 ~]# awk '{a[$1]++;if(a[$1]>100){b[$1]++}}END{for(i in b){print i,a[i]}}' /var/log/httpd/access_log

3、 统计2020年1月9日一天内访问最多的10个IP ？

# 方法一：
[root@ chenc01 ~]# grep '09/Jan/2020' /var/log/httpd/access_log | awk '{ips[$(NF-1)]++}END{for (i in ips){print i,ips[i]}}' | sort -k2 -rn | head -n10
# 方法二：
[root@ chenc01 ~]# sed -n '/\[9\/Apr\/2016:00:00:01/,/\[9\/Apr\/2016:23:59:59/p' /var/log/httpd/access_log |sort |uniq -c |sort -k1 -nr |head -n10

4、 统计当前时间一分钟内的访问数 ？

# 方法一：
[root@ chenc01 ~]# grep -c $(date -d '-1 minute' +09/Jan/2020:11:26) /var/log/httpd/access_log
# 方法二：
[root@ chenc01 ~]# date=$(date -d '-1 minute' +09/Jan/2020:11:26);awk -vdate=$date '$0~date{c++}END{print c}' /var/log/httpd/access_log

5、 统计访问最多的前十个页面 ？

# 方法一：
[root@ chenc01 ~]# cat /var/log/httpd/access_log |cut -d ' ' -f 1 |sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10
# 方法二：
[root@ chenc01 ~]# cat /var/log/httpd/access_log |awk '{a[$7]++}END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}'

6、 统计每个URL访问内容的总大小 ？

# 方法一：
[root@ chenc01 ~]# grep '09/Jan/2020' /var/log/httpd/access_log |awk '{urls[$7]++;size[$7]+=$10}END{for(i in urls){print urls[i],size[i],i}}' |sort -k1 -nr
# 方法二：
[root@ chenc01 ~]# awk '{a[$7]++;size[$7]+=$10}END{for(i in a)print a[i],size[i],i}' /var/log/httpd/access_log

7、 统计每个IP访问的状态数量 ？

[root@ chenc01 ~]# awk '{a[$1" "$9]++}END{for(i in a)print i,a[i]}' /var/log/httpd/access_log

8、 统计访问状态码为404的IP及出现次数

# 方法一：
[root@ chenc01 ~]# grep '09/Jan/2020' /var/log/httpd/access_log |awk '{if($9="404"){ips[$1]++}}END{for(i in ips){print i,ips[i]}}' |sort -k2 -nr
# 方法一：
[root@ chenc01 ~]# awk '{if($9~/404/)a[$1" "$9]++}END{for(i in a)print i,a[i]}' /var/log/httpd/access_log