运维神器！精选10款Nginx日志分析脚本，零基础入门到精通，收藏这一篇就够了

最新推荐文章于 2025-03-29 16:36:32 发布

网安导师小李

最新推荐文章于 2025-03-29 16:36:32 发布

阅读量397

点赞数 3

分类专栏：网络安全程序员编程文章标签：运维 nginx visual studio c语言 c++ 电脑数据库

本文链接：https://blog.youkuaiyun.com/A1_3_9_7/article/details/145322922

版权

程序员同时被 3 个专栏收录

1742 篇文章

订阅专栏

网络安全

1740 篇文章

订阅专栏

编程

1739 篇文章

订阅专栏

Nginx日志分析是网站运维和性能优化的重要环节。10个常用的Nginx日志分析脚本，脚本涵盖了从基本访问统计到高级性能分析的多个方面。供参考学习。

1：统计访问最多的前10个IP地址

#!/bin/bash  
LOG_FILE=$1  
echo "统计访问最多的10个IP"  
awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}' $LOG_FILE | sort -k2 -nr | head -10  
echo "----------------------"

2：统计指定时间段内访问最多的IP地址

#!/bin/bash  
LOG_FILE=$1  
START_TIME="[01/Jan/2024:00:00:00"  
END_TIME="[31/Dec/2024:23:59:59"  
echo"统计时间段 $START_TIME 至 $END_TIME 内访问最多的IP"  
awk -v start="$START_TIME"-v end="$END_TIME"'$4 >= start && $4 <= end {a[$1]++}END{for(v in a)print v,a[v]}'$LOG_FILE|sort-k2 -nr |head-10  
echo "----------------------"

3：统计访问最多的前10个页面

#!/bin/bash  
LOG_FILE=$1  
echo "统计访问最多的前10个页面"  
awk '{a[$7]++}END{print "PV:",length(a);for(v in a)print v,a[v]}' $LOG_FILE | sort -k2 -nr | head -10  
echo "----------------------"

4：统计不同页面状态码的数量

#!/bin/bash  
LOG_FILE=$1  
echo "统计不同页面状态码的数量"  
awk '{a[$9]++}END{for(v in a)print v,a[v]}' $LOG_FILE | sort -k2 -nr  
echo "----------------------"

5：统计每秒的请求数（TOP 100）

#!/bin/bash  
LOG_FILE=$1  
echo"统计每秒的请求数（TOP 100）"  
awk '{print substr($4, 15, 2)}'$LOG_FILE|sort|uniq-c |sort-nr |head-100  
echo "----------------------"

6：列出传输时间超过3秒的页面（前20条）

#!/bin/bash  
LOG_FILE=$1  
echo"列出传输时间超过3秒的页面（前20条）"  
awk '$NF > 3 {print $7}'$LOG_FILE|sort|uniq-c |sort-nr |head-20  
echo "----------------------"

7：统计蜘蛛抓取次数及404次数

#!/bin/bash  
LOG_FILE=$1  
SPIDER="Baiduspider"  
echo"统计蜘蛛 $SPIDER 抓取次数"  
grep "$SPIDER"$LOG_FILE|wc-l  
echo"----------------------"  
echo"统计蜘蛛 $SPIDER 抓取404的次数"  
grep "$SPIDER"$LOG_FILE| grep "404"|wc-l  
echo "----------------------"

8：分析并生成deny.conf以阻止高频访问IP

#!/bin/bash  
LOG_PATH=/var/log/nginx  
NGINX_HOME=/etc/nginx  
SPIDERFILE=/data/operations/op_script/spider.txt  
  
tail-2000"$LOG_PATH"/access.log | egrep -iv "$(cat $SPIDERFILE)"| awk '$7~/\/shop\/detail/ {b[$1]++} END {for (i in b) print i, b[i]}'>/tmp/b.txt  
  
a=$(awk '{print $2}'/tmp/b.txt | grep -E '[5-9][0-9]{1,}'|wc-l)  
b=($(awk '{print $2}'/tmp/b.txt | grep -E '[5-9][0-9]{1,}'))  
  
for((i=0; i<$a; i++));do  
if["${b[i]}"-gt 300];then  
    awk -v ip="${b[i]}"'{if ($1 == ip) print "deny " ip ";"}'/tmp/b.txt >>$NGINX_HOME/settings.d/deny.conf  
fi  
done  
  
sort-u $NGINX_HOME/settings.d/deny.conf -o $NGINX_HOME/settings.d/deny.conf  
nginx -t && nginx -s reload

9：综合性能分析脚本（包含多个性能指标）

#!/bin/bash  
LOG_FILE=$1  
  
echo"统计访问最多的前10个IP"  
awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}'$LOG_FILE|sort-k2 -nr |head-10  
echo"----------------------"  
  
echo"统计访问最多的前10个页面"  
awk '{a[$7]++}END{print "PV:",length(a);for(v in a)print v,a[v]}'$LOG_FILE|sort-k2 -nr |head-10  
echo"----------------------"  
  
echo"统计每秒的请求数（TOP 10）"  
awk '{print substr($4, 15, 2)}'$LOG_FILE|sort|uniq-c |sort-nr |head-10  
echo"----------------------"  
  
echo"列出传输时间超过3秒的页面（前10条）"  
awk '$NF > 3 {print $7}'$LOG_FILE|sort|uniq-c |sort-nr |head-10  
echo"----------------------"  
  
echo"统计不同页面状态码的数量"  
awk '{a[$9]++}END{for(v in a)print v,a[v]}'$LOG_FILE|sort-k2 -nr  
echo "----------------------"

10：按时间段和状态码统计访问量

#!/bin/bash  
LOG_FILE=$1  
START_TIME="[01/Oct/2023:00:00:00"  
END_TIME="[31/Oct/2023:23:59:59"  
STATUS_CODE="200"  
  
echo "统计 $START_TIME 至 $END_TIME 内状态码为 $STATUS_CODE 的访问量"  
awk -v start="$START_TIME" -v end="$END_TIME" -v code="$STATUS_CODE" '$4 >= start && $4 <= end && $9 == code {count++} END {print "Total accesses with status code", code, "during the specified time range:", count}' $LOG_FILE  
echo "----------------------"