nginx 日志访问量统计

最新推荐文章于 2024-07-13 17:27:35 发布
转载 最新推荐文章于 2024-07-13 17:27:35 发布 · 455 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://blog.51cto.com/4402071/2051017
文章标签：

#运维 #python #开发工具

本文介绍如何使用自定义脚本nginx-status.py监控Nginx的状态，并将其集成到Zabbix中进行主动监控。通过该脚本可以获取Nginx的各项指标如活动连接数、已处理请求等，并展示了如何配置Zabbix模板来实现数据收集及图表展示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.根据访问IP统计UV

awk '{print $1}' access.log|sort | uniq -c |wc -l

2.统计访问URL统计PV

awk '{print $7}' access.log|wc -l

3.查询访问最频繁的URL

awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more

4.查询访问最频繁的IP

awk '{print $1}' access.log|sort | uniq -c |sort -n -k 1 -r|more

5.根据时间段统计查看日志

cat access.log| sed -n '/14\/Mar\/2015:21/,/14\/Mar\/2015:22/p'|more

zabbix 配置文件添加

vim /etc/zabbix/zabbix_server.conf

[html] view plain copy
<span style="color:#656e6a;">### Option: AlertScriptsPath

Full path to location of custom alert scripts.

Default depends on compilation options.

Mandatory: no

Default:

AlertScriptsPath=${datadir}/zabbix/alertscripts

</span><span style="color:#ff0000;">AlertScriptsPath=/usr/local/zabbix/sbin</span>

vim /usr/local/zabbix/sbin/nginx-status.py
[python] view plain copy
import urllib2,base64,sys,getopt,re

def Usage():
print "Usage: Nginx-Status.py -h 127.0.0.1 -p 80 -a [active|accepted|handled|requests|reading|writting|waiting]"
sys.exit(2)

def main():
if len(sys.argv) < 6:
Usage() 

try:  
    opts,args = getopt.getopt(sys.argv[1:], "h:p:a:")  
    Dict = dict(opts)  
except getopt.GetoptError:  
    Usage()  

Nginx_url = "http://" + Dict['-h'] + ":" + Dict['-p'] + "/nginx_status"  
Nginx_req = urllib2.Request(Nginx_url)  
Nginx_res = urllib2.urlopen(Nginx_req)  
Output_key = re.findall(r'\d{1,8}', Nginx_res.read())  

if ( Dict['-a'] == "active"):  
        print Output_key[0]  
elif ( Dict['-a'] == "accepted"):  
        print Output_key[1]  
elif ( Dict['-a'] == "handled"):  
        print Output_key[2]  
elif ( Dict['-a'] == "requests"):  
        print Output_key[3]  
elif ( Dict['-a'] == "reading"):  
        print Output_key[4]  
elif ( Dict['-a'] == "writting"):  
        print Output_key[5]  
elif ( Dict['-a'] == "waiting"):  
        print Output_key[6]  
else:  
        print "unknown!!"  
        sys.exit(1)

if name == 'main':
main()

nginx_status_templates.xml
[html] view plain copy
<?xml version="1.0" encoding="UTF-8"?>
<zabbix_export>
<version>2.0</version>
<date>2015-11-03T01:37:04Z</date>
<groups>
<group>
<name>nginx-status</name>
</group>
</groups>
<templates>
<template>
<template>nginx-status</template>
<name>nginx-status</name>
<description/>
<groups>
<group>
<name>nginx-status</name>
</group>
</groups>
<applications/>
<items>
<item>
<name>nginx-accepted</name>
<type>10</type>
<snmp_community/>
<multiplier>0</multiplier>
<snmp_oid/>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","accepted"]</key>
<delay>30</delay>
<history>90</history>
<trends>365</trends>
<status>0</status>
<value_type>3</value_type>
<allowed_hosts/>
<units/>
<delta>0</delta>
<snmpv3_contextname/>
<snmpv3_securityname/>
<snmpv3_securitylevel>0</snmpv3_securitylevel>
<snmpv3_authprotocol>0</snmpv3_authprotocol>
<snmpv3_authpassphrase/>
<snmpv3_privprotocol>0</snmpv3_privprotocol>
<snmpv3_privpassphrase/>
<formula>1</formula>
<delay_flex/>
<params/>
<ipmi_sensor/>
<data_type>0</data_type>
<authtype>0</authtype>
<username/>
<password/>
<publickey/>
<privatekey/>
<port/>
<description/>
<inventory_link>0</inventory_link>
<applications/>
<valuemap/>
<logtimefmt/>
</item>
<item>
<name>nginx-active</name>
<type>10</type>
<snmp_community/>
<multiplier>0</multiplier>
<snmp_oid/>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","active"]</key>
<delay>30</delay>
<history>90</history>
<trends>365</trends>
<status>0</status>
<value_type>3</value_type>
<allowed_hosts/>
<units/>
<delta>0</delta>
<snmpv3_contextname/>
<snmpv3_securityname/>
<snmpv3_securitylevel>0</snmpv3_securitylevel>
<snmpv3_authprotocol>0</snmpv3_authprotocol>
<snmpv3_authpassphrase/>
<snmpv3_privprotocol>0</snmpv3_privprotocol>
<snmpv3_privpassphrase/>
<formula>1</formula>
<delay_flex/>
<params/>
<ipmi_sensor/>
<data_type>0</data_type>
<authtype>0</authtype>
<username/>
<password/>
<publickey/>
<privatekey/>
<port/>
<description/>
<inventory_link>0</inventory_link>
<applications/>
<valuemap/>
<logtimefmt/>
</item>
<item>
<name>nginx-handled</name>
<type>10</type>
<snmp_community/>
<multiplier>0</multiplier>
<snmp_oid/>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","handled"]</key>
<delay>30</delay>
<history>90</history>
<trends>365</trends>
<status>0</status>
<value_type>3</value_type>
<allowed_hosts/>
<units/>
<delta>0</delta>
<snmpv3_contextname/>
<snmpv3_securityname/>
<snmpv3_securitylevel>0</snmpv3_securitylevel>
<snmpv3_authprotocol>0</snmpv3_authprotocol>
<snmpv3_authpassphrase/>
<snmpv3_privprotocol>0</snmpv3_privprotocol>
<snmpv3_privpassphrase/>
<formula>1</formula>
<delay_flex/>
<params/>
<ipmi_sensor/>
<data_type>0</data_type>
<authtype>0</authtype>
<username/>
<password/>
<publickey/>
<privatekey/>
<port/>
<description/>
<inventory_link>0</inventory_link>
<applications/>
<valuemap/>
<logtimefmt/>
</item>
<item>
<name>nginx-reading</name>
<type>10</type>
<snmp_community/>
<multiplier>0</multiplier>
<snmp_oid/>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","reading"]</key>
<delay>30</delay>
<history>90</history>
<trends>365</trends>
<status>0</status>
<value_type>3</value_type>
<allowed_hosts/>
<units/>
<delta>0</delta>
<snmpv3_contextname/>
<snmpv3_securityname/>
<snmpv3_securitylevel>0</snmpv3_securitylevel>
<snmpv3_authprotocol>0</snmpv3_authprotocol>
<snmpv3_authpassphrase/>
<snmpv3_privprotocol>0</snmpv3_privprotocol>
<snmpv3_privpassphrase/>
<formula>1</formula>
<delay_flex/>
<params/>
<ipmi_sensor/>
<data_type>0</data_type>
<authtype>0</authtype>
<username/>
<password/>
<publickey/>
<privatekey/>
<port/>
<description/>
<inventory_link>0</inventory_link>
<applications/>
<valuemap/>
<logtimefmt/>
</item>
<item>
<name>nginx-requests</name>
<type>10</type>
<snmp_community/>
<multiplier>0</multiplier>
<snmp_oid/>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","requests"]</key>
<delay>30</delay>
<history>90</history>
<trends>365</trends>
<status>0</status>
<value_type>3</value_type>
<allowed_hosts/>
<units/>
<delta>0</delta>
<snmpv3_contextname/>
<snmpv3_securityname/>
<snmpv3_securitylevel>0</snmpv3_securitylevel>
<snmpv3_authprotocol>0</snmpv3_authprotocol>
<snmpv3_authpassphrase/>
<snmpv3_privprotocol>0</snmpv3_privprotocol>
<snmpv3_privpassphrase/>
<formula>1</formula>
<delay_flex/>
<params/>
<ipmi_sensor/>
<data_type>0</data_type>
<authtype>0</authtype>
<username/>
<password/>
<publickey/>
<privatekey/>
<port/>
<description/>
<inventory_link>0</inventory_link>
<applications/>
<valuemap/>
<logtimefmt/>
</item>
<item>
<name>nginx-waiting</name>
<type>10</type>
<snmp_community/>
<multiplier>0</multiplier>
<snmp_oid/>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","waiting"]</key>
<delay>30</delay>
<history>90</history>
<trends>365</trends>
<status>0</status>
<value_type>3</value_type>
<allowed_hosts/>
<units/>
<delta>0</delta>
<snmpv3_contextname/>
<snmpv3_securityname/>
<snmpv3_securitylevel>0</snmpv3_securitylevel>
<snmpv3_authprotocol>0</snmpv3_authprotocol>
<snmpv3_authpassphrase/>
<snmpv3_privprotocol>0</snmpv3_privprotocol>
<snmpv3_privpassphrase/>
<formula>1</formula>
<delay_flex/>
<params/>
<ipmi_sensor/>
<data_type>0</data_type>
<authtype>0</authtype>
<username/>
<password/>
<publickey/>
<privatekey/>
<port/>
<description/>
<inventory_link>0</inventory_link>
<applications/>
<valuemap/>
<logtimefmt/>
</item>
<item>
<name>nginx-writting</name>
<type>10</type>
<snmp_community/>
<multiplier>0</multiplier>
<snmp_oid/>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","writting"]</key>
<delay>30</delay>
<history>90</history>
<trends>365</trends>
<status>0</status>
<value_type>3</value_type>
<allowed_hosts/>
<units/>
<delta>0</delta>
<snmpv3_contextname/>
<snmpv3_securityname/>
<snmpv3_securitylevel>0</snmpv3_securitylevel>
<snmpv3_authprotocol>0</snmpv3_authprotocol>
<snmpv3_authpassphrase/>
<snmpv3_privprotocol>0</snmpv3_privprotocol>
<snmpv3_privpassphrase/>
<formula>1</formula>
<delay_flex/>
<params/>
<ipmi_sensor/>
<data_type>0</data_type>
<authtype>0</authtype>
<username/>
<password/>
<publickey/>
<privatekey/>
<port/>
<description/>
<inventory_link>0</inventory_link>
<applications/>
<valuemap/>
<logtimefmt/>
</item>
</items>
<discovery_rules/>
<macros/>
<templates/>
<screens/>
</template>
</templates>
<graphs>
<graph>
<name>nginx-clients-status</name>
<width>900</width>
<height>200</height>
<yaxismin>0.0000</yaxismin>
<yaxismax>100.0000</yaxismax>
<show_work_period>1</show_work_period>
<show_triggers>1</show_triggers>
<type>0</type>
<show_legend>1</show_legend>
<show_3d>0</show_3d>
<percent_left>0.0000</percent_left>
<percent_right>0.0000</percent_right>
<ymin_type_1>0</ymin_type_1>
<ymax_type_1>0</ymax_type_1>
<ymin_item_1>0</ymin_item_1>
<ymax_item_1>0</ymax_item_1>
<graph_items>
<graph_item>
<sortorder>0</sortorder>
<drawtype>0</drawtype>
<color>00C800</color>
<yaxisside>0</yaxisside>
<calc_fnc>2</calc_fnc>
<type>0</type>
<item>
<host>nginx-status</host>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","active"]</key>
</item>
</graph_item>
<graph_item>
<sortorder>1</sortorder>
<drawtype>0</drawtype>
<color>C80000</color>
<yaxisside>0</yaxisside>
<calc_fnc>2</calc_fnc>
<type>0</type>
<item>
<host>nginx-status</host>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","reading"]</key>
</item>
</graph_item>
<graph_item>
<sortorder>2</sortorder>
<drawtype>0</drawtype>
<color>0000C8</color>
<yaxisside>0</yaxisside>
<calc_fnc>2</calc_fnc>
<type>0</type>
<item>
<host>nginx-status</host>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","waiting"]</key>
</item>
</graph_item>
<graph_item>
<sortorder>3</sortorder>
<drawtype>0</drawtype>
<color>C800C8</color>
<yaxisside>0</yaxisside>
<calc_fnc>2</calc_fnc>
<type>0</type>
<item>
<host>nginx-status</host>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","writting"]</key>
</item>
</graph_item>
</graph_items>
</graph>
<graph>
<name>nginx-socket-status</name>
<width>900</width>
<height>200</height>
<yaxismin>0.0000</yaxismin>
<yaxismax>100.0000</yaxismax>
<show_work_period>1</show_work_period>
<show_triggers>1</show_triggers>
<type>0</type>
<show_legend>1</show_legend>
<show_3d>0</show_3d>
<percent_left>0.0000</percent_left>
<percent_right>0.0000</percent_right>
<ymin_type_1>0</ymin_type_1>
<ymax_type_1>0</ymax_type_1>
<ymin_item_1>0</ymin_item_1>
<ymax_item_1>0</ymax_item_1>
<graph_items>
<graph_item>
<sortorder>0</sortorder>
<drawtype>0</drawtype>
<color>00C800</color>
<yaxisside>0</yaxisside>
<calc_fnc>2</calc_fnc>
<type>0</type>
<item>
<host>nginx-status</host>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","handled"]</key>
</item>
</graph_item>
<graph_item>
<sortorder>1</sortorder>
<drawtype>0</drawtype>
<color>0000C8</color>
<yaxisside>0</yaxisside>
<calc_fnc>2</calc_fnc>
<type>0</type>
<item>
<host>nginx-status</host>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","requests"]</key>
</item>
</graph_item>
<graph_item>
<sortorder>2</sortorder>
<drawtype>0</drawtype>
<color>C800C8</color>
<yaxisside>0</yaxisside>
<calc_fnc>2</calc_fnc>
<type>0</type>
<item>
<host>nginx-status</host>
<key>nginx-status.py["-h","{HOST.IP}","-p","80","-a","accepted"]</key>
</item>
</graph_item>
</graph_items>
</graph>
</graphs>
</zabbix_export>

转载于:https://blog.51cto.com/4402071/2051017

通过nginx日志统计一段时间内ip的访问次数进行排序&访问量统计
小啊宇的博客
03-23 4689
查看nginx日志位置 find / -name access.log grep命令过滤出当天的 cat access.log | grep '2021-03-23' | awk '{print $1}' | sort | uniq -c | sort -nr -k1 | head -n 10 sed命令打印出某个时间段之间的 sed -n '/2021-03-23T10:40:00/,/2021-03-23T10:50:10/p' access.log | awk '{print $1}' | s
通过Nginx的log日志对站点进行数据统计
NueXini的博客
12-09 886
请自行确认nginx的日志是否开始且知道access.log文件所在位置。
nginx日志访问量统计
weixin_46837396的博客
02-13 2180
1）.根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l 过滤指定接口地址，例如getCurrentUser()作为获取用户信息接口，访问一次网站只统计一次，因此可以作为UV参考 awk '{print $1 $7}' access.log|grep rresource/api/userInfo/getCurrentUser|sort | uniq -c |wc -l 2）.统计访问URL统计PV awk '{print $7}'
根据nginx日志统计ip访问量
热门推荐
wudinaniya的博客
10-23 1万+
根据nginx日志统计ip访问量，由浅入深，逐步讲解。涉及命令 awk、sort、uniq nginx access.log 日志内容截图如下： nginx access.log日志统计第一列 ip [root@izbp1845cet96se1qmb5ekz logs]# ls access.log error.log nginx.pid [root@izbp1845c...
linux服务器上nginx日志访问量统计命令
weixin_34162695的博客
06-23 274
linux服务器上nginx日志访问量统计命令 日志文件所在地方：/var/log/nginx/access_iqueendress.com.log/var/log/nginx/access_m.iqueendress.com.log--------------------------cd /var/log/nginx/1.根据访问IP统计UVawk '{print $1}' access_i...
根据nginx日志统计页面访问次数
小码蚁
11-20 759
需求是统计每条访问次数和下载次数，根据日志分析写了一个shell脚本，触发脚本后生成一个html可以远程查看统计的数量。静态页面部署在nginx上，页面只有查看下载功能。
Nginx日志统计分析的常用命令总结
01-20
本文主要给大家总结了关于Nginx日志统计分析的一些常用命令，分享出来供大家参考学习，下面来一起看看详细的介绍： 一、IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一...
Nginx日志分析工具2.1.0.zip
06-11
Nginx日志分析工具2.1.0是一款专为Windows平台设计的软件，用于高效地解析、统计和分析Nginx服务器产生的日志文件。Nginx作为一款高性能的Web服务器和反向代理服务器，广泛应用于各类网站和应用程序中。在日常运维...
python实现的分析并统计nginx日志数据功能示例
09-18
3. 对每一行日志内容进行处理，通常是按空格切分，然后根据Nginx日志的格式定义提取出需要统计的字段。在示例中，提取的字段是客户端IP地址(ip)、访问的URL(url)和请求的状态码(status)。 4. 使用字典的get方法，以...
使用nginx+lua实现信息访问量统计
09-22
现代的Web服务通常会使用更高级的解决方案，如结合Nginx和Lua脚本来实现访问量的实时统计。 Nginx是一款高性能的HTTP和反向代理服务器，同时也是一个IMAP/POP3/SMTP服务器。它以稳定性、丰富的功能集、简单的配置...
Nginx访问日志及安全巡检统计
企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com
08-14 1795
PV（Page View访问量/也卖弄浏览数）：指在一定统计周期内，用户每次刷新网页一次即计算一次。PV高不一定代表来访者多:PV与来访者的数量成正比，但是PV并不直接决定页面的真实来访者数量。比如一个网站就即使一个人进来，但通过不断的刷新页面，也可以制造出非常高的PV。UV（Unique Visitor独立访客数）：指访问您网站的一个客户端（非出口ip）即为一个访客。UV是指不同的、通过互联网访问、浏览一个网页的自然人。00:00-24:00内相同的客户端只被计算一次。
统计Nginx日志里前一个小时的IP数量以及IOS占比
07-19
Nginx日志的原始时间格式无法通过date命令转换，所以自己写了脚本转换格式
Nginx 访问日志统计
09-23 858
2.统计访问URL统计PV。3.查询访问最频繁的URL。5.根据时间段统计查看日志。1.根据访问IP统计UV。4.查询访问最频繁的IP。nginx访问量统计。
nginx日志，怎么统计每个ip的访问量
allen的博客
03-27 1089
根据访问IP统计UV awk '{print $1}'access.log|sort | uniq -c |wc -l 统计访问URL统计PV awk '{print $7}' access.log|wc -l 查询访问最频繁的URL awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more 查询访问最频...
Nginx日志分析和统计
迎风悟极道的专栏
07-05 3273
Nginx日志分析
nginx日志统计一段时间内ip的访问次数进行排序&访问量统计
深圳市多克创新科技有限公司
06-13 1649
nginx日志统计一段时间内ip的访问次数&访问量统计
Nginx日志统计分析
技术很简单, 复杂的是人
03-28 815
7.查看访问最频的页面([排除php页面】(TOP100)10.统计每秒的请求数,top100的时间点(精确到秒)5.查询某个IP的详细访问情况,按访问频率排序。9.查看最近1000条记录，访问量最高的页面。2.查看某一时间段的IP访问量(4-5点)1.统计IP访问量（独立ip访问数量）6.查看访问最频的页面(TOP100)8.查看页面访问次数超过100次的页面。3.查看访问最频繁的前100个IP。4.查看访问100次以上的IP。
Nginx 日志统计分析命令
最新发布
兴趣是最好的老师，勤能补拙
07-13 2179
Nginx 日志统计分析命令
实时分析nginx和tomcat日志获取访问统计
日志文件是这些服务器记录请求信息的重要方式，通过分析这些日志文件，我们可以提取出多种有用信息，包括但不限于访问量统计、访问模式、用户行为分析、服务器性能监控等。 Nginx日志通常包含客户端请求的相关信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值