Shell 统计PV, UV ,独立IP

最新推荐文章于 2023-08-03 15:31:12 发布
最新推荐文章于 2023-08-03 15:31:12 发布
阅读量2.3k 收藏
点赞数
分类专栏： shell编程 网站分析知识点
本文介绍如何利用Shell命令快速从Nginx日志中提取PV、UV及独立IP统计数据，通过grep、cut、sort、uniq和wc等工具组合使用，轻松完成网站流量分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

每天分析日志的哥们实在伤不起，经常需要给出PV,UV，独立IP等一些统计值，使用C/C++，java都可以写，过程是这样的，先读取文件，逐行扫描，把能标记的值放入数据结构中，排重得出最终结果，其实Linux本身有很强大的文本处理功能，完全可以用shell + 一些文本小工具得出结果。

 

Nngix输出的access log文件如下：

 

 

日志文件代码  收藏代码
  1. 192.168.1.166 - - 119272312 [05/Nov/2011:16:06:59 +0800] "GET /index.html HTTP/1.1" 200 370 "http://192.168.1.201/" "Chrome/15.0.874.106" "-"  
  2. 192.168.1.166 - - 119272312 [05/Nov/2011:16:06:59 +0800] "GET /poweredby.png HTTP/1.1" 200 3034 "http://192.168.1.201/" "Chrome/15.0.874.106" "-"  
  3. 192.168.1.177 - - 1007071650 [05/Nov/2011:16:06:59 +0800] "GET /favicon.ico HTTP/1.1" 404 3650 "-" "Chrome/15.0.874.106" "-"  
  4. 192.168.1.178 - - 58565468 [05/Nov/2011:16:17:40 +0800] "GET / HTTP/1.1" 200 3700 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)" "-"  
  5. 192.168.1.166 - - 119272312 [05/Nov/2011:16:17:40 +0800] "GET /nginx-logo.png HTTP/1.1" 200 370 "http://192.168.1.201/" "Chrome/15.0.874.106" "-"  

 

PV很简单，大致就是统计某个URL的访问次数，例如统计/index.html的访问次数

 

Shell代码  收藏代码
  1. grep "/index.html" /var/log/nginx/access.log –c  

 

 

UV呢，我们根据用户标识(第四列) ，首先需要字符串截取，使用cut命令,以空格符号分割，-d “ ”,再取第四列-f 4，然后这里需要排重，需要使用uniq工具，uniq速度很快，但是基于就近排重，前一个后一个一样会排重，之间间隔了不一样的，就不行了，这就必须使用sort工具来对标识符进行排序，排序后再使用uniq工具就可以达到目的，之间我们用管道符号链接, 最后再用 wc –l 输出统计数

 

比如我们统计访问了/index.html这也页面的uv:

 

 

Shell代码  收藏代码
  1. grep "/index.html" /var/log/nginx/access.log | cut –d “ ” –f 4| sort | uniq | wc –l  
 

 

独立IP：

 

假设我们要统计整站的独立IP，那么我们不需要使用grep来匹配具体页面，只需要使用cat输出即可：

 

 

Shell代码  收藏代码
  1. cat /var/log/nginx/access.log | cut –d “ ” –f 1 | sort| uniq | wc -l  

 

都木有使用强大的awk,就完成了基本的统计需求：）

分享到：
浅析网站PV/UV统计系统的原理及其设计
素履独行 | 元培的个人博客
12-29 5617
国庆节前有段时间，新浪的“图床”一直不大稳定，因为新浪开启了防盗链，果然免费的永远是最贵的啊。为了不影响使用，我非常粗暴地禁止了浏览器发送Referer，然后我就发现了一件尴尬的事情，“不蒜子”统计服务无法使用了。这是一件用脚后跟想都能想明白的事情，我禁止了浏览器发送Referer，而“不蒜子”正好使用Referer来识别每个页面，所以，这是一个再明显不过的因为需求变更而引入的Bug。这个世界最离...
通过nginx日志利用shell统计日pv和uv
朦胧的旋律
05-04 1万+
 通过nginx日志利用shell统计日pv和uv 网上记录nginx日志统计访问量的脚本的文档很多，但是看来看去实际都是一个东西，如下： 1.根据访问IP统计UV awk '{print $1}'  access.log|sort | uniq -c |wc -l 2.统计访问URL统计PV awk '{print $7}' access.log|wc -l
JAVA 统计网站的访问量PV，UV
06-18
Java+Spring+Mysql+C3P0 统计网站的访问量，比如PV（页面浏览量），UV（独立访客数），将统计结果保存到MYSQL数据库中。解压后有项目log和Mysql的建库脚本。
shell工具 pv (pipe viewer)
东杰书屋
05-26 3283
写shell对1g多的日志做统计，中间那个慢啊，又没有进度显示，万一脚本写错了，等待时间又白费了 现在给大家介绍一个看执行进度的工具—-pv 它可以加入到管道中的任意一层，查看数据的通过量 安装 wget http://pipeviewer.googlecode.co
shell 自动创建磁盘分区 PV 、VG、 LV
xdy762024688的博客
08-03 437
2、创建for循环，磁盘分区数量 /dev/vdb0~3，用于在for循环中if判断磁盘分区是否已经存在。3、如磁盘分区不存在就创建磁盘分区 PV、VG、LV。if 判断条件 [[ -b "目录名称"]]1、创建磁盘分区变量集合。在root用户下执行。
shell统计pv和uv、独立ip的方法
01-11
经常需要给出PV,UV，独立IP等一些统计值，使用C/C++，java都可以写，过程是这样的，先读取文件，逐行扫描，把能标记的值放入数据结构中，排重得出最终结果，其实Linux本身有很强大的文本处理功能，完全可以用shell +...
java pv uv 统计_shell统计pv和uv、独立ip的方法
weixin_33480380的博客
02-21 327
每天分析日志的哥们实在伤不起，经常需要给出PV,UV，独立IP等一些统计值，使用C/C++，java都可以写，过程是这样的，先读取文件，逐行扫描，把能标记的值放入数据结构中，排重得出最终结果，其实Linux本身有很强大的文本处理功能，完全可以用shell + 一些文本小工具得出结果。Nngix输出的access log文件如下：日志文件代码192.168.1.166 - - 119272312 [...
Shell - 一行脚本统计分组 PV、UV
BITDDD小栈
09-19 824
shell 一行实现 UV、PV 统计。
linux之pv命令（pipe viewer）
热门推荐
qinshaoyuan的博客
06-13 1万+
pv命令简介可以使用pv命令度量执行命令的具体信息：时间，进度等。可以是管道的过程进度对用户透明，可以监控长时间操作的执行情况。在迁移新nas的时候遇到这个问题，无法监控上百G数据的迁移。幸好找到pv工具。关于安装pv命令： 在网上找到各种方式，centos的推荐是使用yum 命令安装，但是一直提示没有available的package。无论是修改yum的yum.conf还是更新yum.repos
网站统计IP PV UV实现原理
weixin_34365635的博客
08-15 808
2019独角兽企业重金招聘Python工程师标准>>> ...
java pv实现_java实现UV.PV.IP统计的实现源码包
weixin_39860166的博客
02-12 890
【实例简介】统计网址的pv,uv，java如何实现数据统计，网站统计源码工程包【实例截图】【核心代码】statistic└── statistic├── src│ ├── applicationContext.xml│ ├── com│ │ ├── bean│ │ │ └── LogBean.java│ │ ├── dao│ │ │ ├── impl...
有关cookie实现统计pv,uv的一些用法
前端岚枫
04-24 1万+
最近跟研发配合做了一个在登录，注册等相关页面统计用户ip来源、uv、pv。主要是根据当前的url，获取相关的参数，设置cookie值，然后根据页面输出的相关数据跟cookie相关的匹配，进行操作，当用户登录或者注册成功的时候，再获取cookie,把cookie传给后台，最后删除cookie值。 我以前写js很少关于cookie相关的技术，所以对这方面的技术也不是太了解，在做这个项目之前，花费了一段
shell脚本统计网站pv，每分钟/小时/天~
醉世老翁的博客
08-08 1241
脚本内容如下: #!/bin/bash ####获取输入 read -p "请输入日志名称: " log_name ####将日志进行统计，每秒钟的请求数 cat ./$log_name | cut -d ' ' -f4 | uniq -c | sort -n -r -o ./temp_sorted.log ###定义一天的pv，初始值为0 all_pv=0 ###循环24小时，一天 ...
java实现统计pv和uv_shell统计pv与uv、独立ip的方法
weixin_39577908的博客
02-27 939
问题描述：每天分析日志的哥们实在伤不起，经常需要给出PV,UV，独立IP等一些统计值，使用C/C++，java都可以写，过程是这样的，先读取文件，逐行扫描，把能标记的值放入数据结构中，排重得出最终结果，其实Linux本身有很强大的文本处理功能，完全可以用shell + 一些文本小工具得出结果。Nngix输出的access log文件：日志文件内容：复制代码 代码示例:192.168.1.166 -...
cat /var/log/nginx/prodgateway.access.log.1|grep okgw.fffhhg.com|awk '{print $NF}'|sort -n |uniq -c|sort -n
最新发布
04-28
### 解析和统计 Nginx 日志文件中的特定域名请求 为了实现对 `okgw.fffhhg.com` 域名的请求分布进行解析和统计，可以按照以下方法操作： #### 1. 配置 Nginx 的日志格式 默认情况下，Nginx 使用的标准日志格式可能不完全满足需求。可以通过修改 `nginx.conf` 文件来定义自定义的日志格式，以便更方便地提取所需数据。 以下是常见的日志格式配置示例： ```nginx http { log_format custom '$remote_addr - $remote_user [$time_local] ' '"$request" $status $body_bytes_sent ' '"$http_referer" "$http_user_agent" ' '$host'; server { listen 80; server_name okgw.fffhhg.com; access_log /var/log/nginx/okgw_access.log custom; } } ``` 此配置会记录客户端 IP 地址、时间戳、HTTP 请求详情、状态码、响应字节数、Referer 和 User-Agent 等信息，并额外增加 `$host` 字段用于区分主机名称[^1]。 #### 2. 提取指定域名的日志条目 假设已经生成了标准的访问日志 `/var/log/nginx/access.log` 或者针对该域名单独保存的日志文件 `/var/log/nginx/okgw_access.log`，可以使用命令行工具过滤出目标域名的相关记录。 利用 Linux Shell 中的 grep 工具快速筛选包含 `okgw.fffhhg.com` 的行： ```bash grep 'okgw\.fffhhg\.com' /var/log/nginx/access.log > filtered_okgw_logs.txt ``` #### 3. 统计 PV (Page Views, 页面浏览量) 页面浏览次数是指某个时间段内服务器接收到的所有 HTTP 请求总数。通过 wc 工具计算总行数即可得到 PV 数值。 ```bash wc -l filtered_okgw_logs.txt ``` #### 4. 计算 UV (Unique Visitors, 独立访客数量) 独立访客通常由唯一 IP 地址表示。借助 awk 结合 sort 和 uniq 可以轻松完成去重并统计数据。 ```bash awk '{print $1}' filtered_okgw_logs.txt | sort | uniq | wc -l ``` 这里假定每条日志的第一列代表远程用户的 IP 地址 (`$remote_addr`)。 #### 5. 获取独立 IP 列表及其访问频率 如果还需要了解哪些具体 IP 对网站进行了多少次访问，则可进一步扩展处理逻辑如下所示： ```bash awk '{print $1}' filtered_okgw_logs.txt | sort | uniq -c | sort -nr ``` 这一步骤不仅返回唯一的 IP 地址集合，还附带它们各自的出现频次排序结果。 #### 6. 进阶分析——按路径分类汇总 除了基本指标外，还可以深入挖掘不同 URL 路径下的表现情况。例如统计各个 API 接口或者静态资源的实际调用量。 ```bash cut -d'"' -f2 filtered_okgw_logs.txt | cut -d' ' -f2 | sed 's/?.*//' | sort | uniq -c | sort -nr ``` 这条管道链的作用是从原始日志中截取出完整的 URI 部分，去掉查询字符串部分后再做聚合运算得出最终报告。 --- ### 总结 通过对 Nginx 日志文件的有效管理和科学分析，能够全面掌握业务运行状况以及用户体验反馈等方面的信息。以上介绍的方法涵盖了从基础到高级层面的各项技术要点，在实际工作中具有很高的实用价值。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值