Linux脚本练习之script080-nginx日志分析之IP统计

最新推荐文章于 2024-08-10 06:00:00 发布
最新推荐文章于 2024-08-10 06:00:00 发布
阅读量884 收藏 2
点赞数
分类专栏： # Shell脚本 文章标签： linux shell bash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cnds123321/article/details/125813800
版权
这篇博客介绍了如何使用Shell脚本来从nginx日志中提取特定日期（如2020年4月23日）的访问IP，并按访问次数降序排序。提供了三种不同的Shell脚本实现方式，分别是利用grep、awk、sort和uniq-c命令的组合，以及使用bash关联数组和awk的内建数组。这些脚本能够有效地统计和排序日志中的IP访问频率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

script080

题目

注：题目来源于 SHELL23 nginx日志分析1-IP统计 。

假设 nginx 的日志我们存储在 nowcoder.txt 里，格式如下：

192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.23 - - [21/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [22/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [22/Apr/2020:15:26:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:08:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:09:20:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:16:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [23/Apr/2020:20:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:20:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"

现在需要你统计出2020年4月23号的访问 ip 次数，并且按照次数降序排序。你的脚本应该输出：

5 192.168.1.22
4 192.168.1.21
3 192.168.1.20
2 192.168.1.25
1 192.168.1.24

脚本一

首先使用 grep 命令检索到2020年4月23号的记录行；接着使用 awk 命令打印第一个字段域，即 IP 地址列；接着通过 sort 命令排序；再通过 uniq -c 命令对排序后的结果进行去重统计出现次数；再通过 sort -nr 命令对每个 IP 地址的出现次数逆序排列；最后通过 sed 命令去重行首多余的空格。

grep "23/Apr/2020" nowcoder.txt | awk '{print $1}' | sort | uniq -c | sort -nr | sed 's/[ \t]*//'

脚本二

通过 shell 编程实现，首先使用 declare 命令声明一个关联数组；再循环读取文件中的每一行的 IP 地址，将其出现次数记录在关联数组中；由于要对最终结果降序排列，所以不仅要输出关联数组的键名和对应的键值，还得把它们拼接成一个字符串通过管道符传递给 sort 命令排序。

#!/bin/bash

# 声明一个关联数组
declare -A map

# 循环读取文件中的每一行，提取每行的 IP 地址，以 IP 地址作为关联数组的键名，对应的出现次数作为键值
while read line; do
  # 如果不是2020年4月23号的记录则跳过
  if ! echo "${line}"| grep "23/Apr/2020" > /dev/null; then
    continue 
  fi
  # 提取文本行的 IP 地址
  ip=$(echo "${line}" | awk '{print $1}')
  # 把出现次数记录在关联数组中
  map["${ip}"]=$(( map["${ip}"] + 1 ))
done < nowcoder.txt  

# 把IP地址和出现次数记录在这个变量上，为了能排序
result=""
# 循环输出关联数组中的所有元素
for k in ${!map[@]} ; do
  if [ -z "${result}" ]; then
      result="${map[$k]} ${k}"
  else
      result="${result}\n${map[$k]} ${k}"
  fi
done
# 最终对结果进行排序
echo -e "${result}" | sort -nr

脚本三

跟脚本二的原理一样，只是通过 awk 命令来完成，都是通过关联数组来完成的。

awk '/23\/Apr\/2020/{map[$1]++} END{for(k in map) print map[k],k}' nowcoder.txt | sort -nr
统计Nginx日志里前一个小时的IP数量以及IOS占比
07-19
Nginx日志的原始时间格式无法通过date命令转换，所以自己写了脚本转换格式
根据nginx日志统计ip访问量
wudinaniya的博客
10-23 1万+
根据nginx日志统计ip访问量，由浅入深，逐步讲解。涉及命令 awk、sort、uniq nginx access.log 日志内容截图如下： nginx access.log日志统计第一列 ip [root@izbp1845cet96se1qmb5ekz logs]# ls access.log error.log nginx.pid [root@izbp1845c...
nginx 日志分割、缓存及日志分析、统计ip
qq_44637753的博客
05-06 1155
nginx日志分割 nginx日志分割是nginx本身自带，不需重新编译。 直接在server中添加即可。 log_format main '$remote_addr $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '$http_user_agent $http_x_forwarded_for $request_t
查看NGINX服务器的日志有多少个IP访问
z19861216的博客
08-10 259
查看NGINX服务器的日志有多少个IP访问
Nginx 日志文件 访问IP统计
热门推荐
stevewong的专栏
08-01 1万+
问题描述Nginx访问日志文件内容如下：10.9.40.134 - - [01/Aug/2016:06:29:42 +0800] "POST / HTTP/1.1" 302 0 "-" "python-requests/2.4.3 CPython/2.7.9 Linux/3.16.0-4-amd64" 10.9.40.134 - - [01/Aug/2016:06:29:42 +0800] "GET
四章——Nginx网站服务（应用——linux防护与群集）
MKC__jiaoq的博客
08-30 3575
三期总目录链接
linux日常运维练习题
06-10
Linux 日常运维练习题 本文总结了 Linux 日常运维中常见的实践问题，涵盖了 Linux 系统的基本命令、系统监控、进程管理、网络配置、安全设置、文件传输等方面。 1. 如何看出当前 Linux 系统有几颗物理 CPU 和没课 ...
Linux靶机练习
SYJ_361的博客
03-27 9496
这里是对Linux靶机的各种练习，包括Lampiao、Raven2、Tr0ll、zico2、DC-6、DC-9等，利用kali、蚁剑等对靶机进行提权，并找到root里面的flag文件
shell 练习附带参考答案，建以先看前面一条没有答案的练习，做完再参考_#! bin bash 通过位置变量创建 linux 系统账户及密码 #$1 是执行脚本的第一个参数(2)
ccc6553584的博客
05-06 855
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
SHELL脚本练习（持续更新）
weixin_44983653的博客
07-08 842
常见脚本编程
linux统计ip访问情况，要求分析nginx访问日志，找出访问页面数量在前十位的ip
qq_33240556的博客
02-07 984
注意，这个命令假设你的Nginx访问日志文件的格式是标准的 Combined Log Format。如果你的访问日志文件使用了不同的格式，你可能需要修改。命令来分析Nginx访问日志，并找出访问页面数量在前十位的IP地址。如果你想只显示访问页面数量在前十位的IP地址，你可以添加。首先，假设你的Nginx访问日志文件名为。命令的参数以正确地提取IP地址。在Linux中，你可以使用。
nginx日志，怎么统计每个ip的访问量---汇总 2020-10-15
u010695981的博客
10-15 365
1.根据访问IP统计UV awk '{print $1}'access.log|sort | uniq -c |wc -l 2.统计访问URL统计PV awk '{print $7}' access.log|wc -l 3.查询访问最频繁的URL awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more 4.查询访问最频繁的IP awk '{print $1}' access.log|sort | uniq -c |s..
nginx日志，怎么统计每个ip的访问量
allen的博客
03-27 1075
根据访问IP统计UV awk '{print $1}'access.log|sort | uniq -c |wc -l 统计访问URL统计PV awk '{print $7}' access.log|wc -l 查询访问最频繁的URL awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more 查询访问最频...
通过Nginx的log日志对站点进行数据统计
NueXini的博客
12-09 869
请自行确认nginx的日志是否开始且知道access.log文件所在位置。
Nginx 日志统计分析命令
兴趣是最好的老师，勤能补拙
07-13 2055
Nginx 日志统计分析命令
Nginx统计访问IP并排序
gtlaltt的博客
08-04 1622
nginx 访问日志格式如下： xxx.xxx.xxx.xxx - - [17/04/2020:02:58:45 +0000] "GET / HTTP/1.1" 502 166 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0" xxx.xxx.xxx.xxx - - [17/04/2020:02:58:45 +0000] "GET / HTTP/1.1" 502 166 "-" "Mo
统计 nginx 日志里的 ip访问 （排重）
燕雀笔记博
12-05 352
linux 查看nginx 日志， 统计ip访问量(排重) cat access.log | awk '{ips[$1]+=1} END{for(ip in ips) print ips[ip],ip}' | sort -nr   加 wc -l 查看 数量
通过nginx日志统计一段时间内ip的访问次数进行排序&访问量统计
小啊宇的博客
03-23 4665
查看nginx日志位置 find / -name access.log grep命令过滤出当天的 cat access.log | grep '2021-03-23' | awk '{print $1}' | sort | uniq -c | sort -nr -k1 | head -n 10 sed命令打印出某个时间段之间的 sed -n '/2021-03-23T10:40:00/,/2021-03-23T10:50:10/p' access.log | awk '{print $1}' | s
【Shell牛客刷题系列】SHELL24 nginx日志分析2-统计某个时间段的IP
一起加油~
12-08 903
本文首先复习了grep、awk、sed、cut等命令的相关用法；然后，给出了五种题目的解决方案。
ubuntu系统操作命令
最新发布
04-01
<think>嗯，用户之前问过关于“欧邦图系统”的代码，但那个系统可能不存在或者名称有误。现在他们转向询问Ubuntu系统操作命令，这说明用户可能需要学习Linux系统的基本操作，特别是Ubuntu的使用。 首先，我需要确认用户的使用场景。可能是刚接触Ubuntu的新手，想要学习基本的命令行操作。用户可能是学生、开发人员或者系统管理员，需要掌握日常管理任务，比如文件操作、软件安装、系统监控等。 接下来，用户的需求可能不仅仅是记住命令，而是理解每个命令的作用和使用场景。比如，他们可能想知道如何查找文件、管理进程、处理权限问题，或者配置网络。此外，用户可能对包管理系统（如apt）和脚本编写感兴趣，以便自动化任务。 需要确保回答的结构清晰，分门别类，便于用户逐步学习。同时，加入一些实用技巧和注意事项，比如使用sudo时的风险，权限管理的重要性，以及如何获取帮助文档，这些都能帮助用户避免常见错误。 还要考虑用户可能的深层需求，比如他们是否在搭建服务器、进行软件开发，或者只是日常使用。不同的使用场景可能需要不同的命令组合。例如，开发人员可能需要gcc和版本控制工具，而系统管理员可能更关注日志分析和服务管理。 最后，确保回答准确，命令语法正确，并提供示例，这样用户可以跟着练习。同时提醒用户谨慎执行需要权限的命令，避免系统损坏。可能还需要推荐进一步的学习资源，如手册页、在线教程或社区支持，帮助用户深入学习。</think>以下是 **Ubuntu 系统常用操作命令**的分类整理，包含基础文件操作、系统管理及实用技巧： --- ### 一、文件与目录操作 | 命令 | 功能 | 示例 | |------|------|------| | `ls` | 列出目录内容 | `ls -l`（详细列表）<br> `ls -a`（显示隐藏文件） | | `cd` | 切换目录 | `cd /var/www`（绝对路径）<br> `cd ..`（返回上级） | | `pwd` | 显示当前路径 | `pwd` → 输出 `/home/user` | | `cp` | 复制文件/目录 | `cp file.txt backup/`<br> `cp -r dir1/ dir2/`（递归复制目录） | | `mv` | 移动/重命名 | `mv old.txt new.txt`（重命名）<br> `mv file.txt ~/Documents/`（移动） | | `rm` | 删除文件/目录 | `rm file.txt`<br> `rm -rf dir/`（强制递归删除）⚠️慎用 | | `find` | 文件搜索 | `find / -name "*.log"`（全盘搜索.log文件） | --- ### 二、文本处理 | 命令 | 功能 | 示例 | |------|------|------| | `cat` | 显示文件内容 | `cat file.txt` | | `grep` | 文本搜索 | `grep "error" log.txt`（查找含"error"的行） | | `nano`/`vim` | 文本编辑 | `nano file.txt`（简单编辑）<br> `vim file.txt`（高级编辑） | | `chmod` | 修改权限 | `chmod 755 script.sh`（rwxr-xr-x） | | `chown` | 修改所有者 | `chown user:group file.txt` | --- ### 三、系统管理 | 命令 | 功能 | 示例 | |------|------|------| | `sudo` | 提权执行 | `sudo apt update`（以root权限运行） | | `apt` | 包管理 | `sudo apt install nginx`（安装软件）<br> `sudo apt remove python3`（卸载） | | `systemctl` | 服务管理 | `sudo systemctl start apache2`（启动服务）<br> `sudo systemctl enable docker`（开机自启） | | `top`/`htop` | 进程监控 | `top`（实时资源占用）<br> `htop`（增强版） | | `df`/`du` | 磁盘空间 | `df -h`（查看磁盘剩余）<br> `du -sh dir/`（统计目录大小） | --- ### 四、网络相关 | 命令 | 功能 | 示例 | |------|------|------| | `ping` | 网络连通性 | `ping google.com` | | `ifconfig`/`ip` | 网络配置 | `ip addr show`（显示IP地址） | | `ssh` | 远程连接 | `ssh user@192.168.1.100` | | `scp` | 安全传输 | `scp file.txt user@remote:/path/`（上传） | | `wget`/`curl` | 下载工具 | `wget https://example.com/file.zip` | --- ### 五、实用技巧 1. **历史命令**：按 `Ctrl+R` 搜索历史命令 2. **通配符**：`*.txt` 匹配所有文本文件，`?` 匹配单个字符 3. **管道符**：`ls -l \| grep "2023"`（筛选2023年修改的文件） 4. **后台运行**：`nohup command &`（退出终端仍运行） 5. **帮助文档**：`man ls`（查看手册）或 `命令 --help` --- ### ⚠️ 注意事项 - 使用 `sudo` 前确认命令安全性 - 删除命令（`rm`、`dd`）需谨慎 - 重要文件操作前建议备份 如果需要更具体的场景（如**Shell脚本编写**或**服务器配置**），请补充说明！ 😊
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值