linux awk sort 统计ip出现次数

最新推荐文章于 2025-06-01 01:46:39 发布
转载 最新推荐文章于 2025-06-01 01:46:39 发布 · 1.5w 阅读 · 6
文章标签：

#linux #awk #sort

本文通过分析网站访问日志，统计了不同IP地址的访问次数，并对结果进行了排序，展示了如何使用awk和sort命令来处理大量日志数据，以便更好地理解用户行为。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

visit.log
180.153.114.199 - - [03/Jul/2013:14:44:43 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26s%3DVasiliki%26plugin-search-input%3D%25E6%2590%259C%25E7%25B4%25A2%25E6%258F%2592%25E4%25BB%25B6&reauth=1 HTTP/1.1 200 2355 - Mozilla/4.0 -
101.226.33.200 - - [03/Jul/2013:14:45:52 +0800] GET /wp-admin/plugin-install.php?tab=search&type=term&s=Photogram&plugin-search-input=%E6%90%9C%E7%B4%A2%E6%8F%92%E4%BB%B6 HTTP/1.1 302 0 - Mozilla/4.0 -
101.226.33.200 - - [03/Jul/2013:14:45:52 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26type%3Dterm%26s%3DPhotogram%26plugin-search-input%3D%25E6%2590%259C%25E7%25B4%25A2%25E6%258F%2592%25E4%25BB%25B6&reauth=1 HTTP/1.1 200 2370 - Mozilla/4.0 -
101.226.33.200 - - [03/Jul/2013:14:45:52 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26type%3Dterm%26s%3DPhotogram%26plugin-search-input%3D%25E6%2590%259C%25E7%25B4%25A2%25E6%258F%2592%25E4%25BB%25B6&reauth=1 HTTP/1.1 200 2370 - Mozilla/4.0 -
101.226.33.200 - - [03/Jul/2013:14:45:52 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26type%3Dterm%26s%3DPhotogram%26plugin-search-input%3D%25E6%2590%259C%25E7%25B4%25A2%25E6%258F%2592%25E4%25BB%25B6&reauth=1 HTTP/1.1 200 2370 - Mozilla/4.0 -
101.226.33.200 - - [03/Jul/2013:14:45:52 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26type%3Dterm%26s%3DPhotogram%26plugin-search-input%3D%25E6%2590%259C%25E7%25B4%25A2%25E6%258F%2592%25E4%25BB%25B6&reauth=1 HTTP/1.1 200 2370 - Mozilla/4.0 -
101.226.33.200 - - [03/Jul/2013:14:45:52 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26type%3Dterm%26s%3DPhotogram%26plugin-search-input%3D%25E6%2590%259C%25E7%25B4%25A2%25E6%258F%2592%25E4%25BB%25B6&reauth=1 HTTP/1.1 200 2370 - Mozilla/4.0 -
101.226.33.200 - - [03/Jul/2013:14:45:52 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26type%3Dterm%26s%3DPhotogram%26plugin-search-input%3D%25E6%2590%259C%25E7%25B4%25A2%25E6%258F%2592%25E4%25BB%25B6&reauth=1 HTTP/1.1 200 2370 - Mozilla/4.0 -
101.226.33.200 - - [03/Jul/2013:14:45:52 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26type%3Dterm%26s%3DPhotogram%26plugin-search-input%3D%25E6%2590%259C%25E7%25B4%25A2%25E6%258F%2592%25E4%25BB%25B6&reauth=1 HTTP/1.1 200 2370 - Mozilla/4.0 -
101.226.33.200 - - [03/Jul/2013:14:45:52 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26type%3Dterm%26s%3DPhotogram%26plugin-search-input%3D%25E6%2590%259C%25E7%25B4%25A2%25E6%258F%2592%25E4%25BB%25B6&reauth=1 HTTP/1.1 200 2370 - Mozilla/4.0 -
101.226.33.200 - - [03/Jul/2013:14:45:52 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26type%3Dterm%26s%3DPhotogram%26plugin-search-input%3D%25E6%2590%259C%25E7%25B4%25A2%25E6%258F%2592%25E4%25BB%25B6&reauth=1 HTTP/1.1 200 2370 - Mozilla/4.0 -
113.110.176.131 - - [03/Jul/2013:15:03:57 +0800] GET /wp-content/themes/catjia-lio/images/menu_hover_bg.png HTTP/1.1 304 0 http://demo.catjia.com/wp-content/themes/catjia-lio/style.css Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 -
180.153.205.103 - - [03/Jul/2013:15:13:59 +0800] GET /wp-admin/options-general.php HTTP/1.1 302 0 - Mozilla/4.0 -
180.153.205.103 - - [03/Jul/2013:15:13:59 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Foptions-general.php&reauth=1 HTTP/1.1 200 2269 - Mozilla/4.0 -
101.226.51.227 - - [03/Jul/2013:15:14:07 +0800] GET /wp-admin/options-general.php?settings-updated=true HTTP/1.1 302 0 - Mozilla/4.0 -
101.226.51.227 - - [03/Jul/2013:15:14:07 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Foptions-general.php%3Fsettings-updated%3Dtrue&reauth=1 HTTP/1.1 200 2291 - Mozilla/4.0 -


统计
awk '{a[$1]+=1;} END {for(i in a){print a[i]" "i;}}' log/visit.log
2 180.153.205.103
10 101.226.33.200
1 180.153.114.199
1 113.110.176.131
2 101.226.51.227


对统计结果排序
awk '{a[$1]+=1;} END {for(i in a){print a[i]" "i;}}' log/visit.log | sort
1 113.110.176.131
1 180.153.114.199
10 101.226.33.200
2 101.226.51.227
2 180.153.205.103


sort默认是升序的，10竟然没有排在最后，原来sort默认对一行的首字母进行排序
需要加入其它参数 -t 指定分隔符 -k 指定列 -g 按照常规数值排序 -n 根据字符串数值比较
awk '{a[$1]+=1;} END {for(i in a){print a[i]" "i;}}' log/visit.log | sort -t " " -k 1 -n
1 113.110.176.131
1 180.153.114.199
2 101.226.51.227
2 180.153.205.103
10 101.226.33.200


改为降序 -r
awk '{a[$1]+=1;} END {for(i in a){print a[i]" "i;}}' log/visit.log | sort -t " " -k 1 -n -r
10 101.226.33.200
2 180.153.205.103
2 101.226.51.227
1 180.153.114.199
1 113.110.176.131
【Linux系统进阶】Linux 分析域名与IP去重排序选出最大访问者
走向CTO的路上...
07-29 206
要分析一个 Linux 系统上的域名与 IP 地址，并去重、排序，然后选出最大访问者，可以使用一些常用的 Linux 工具和命令来实现。可以使用 awk 命令来提取日志文件中的域名和 IP 地址，并进行去重和排序。在处理日志文件时，可以使用 sort 命令对提取出来的域名和 IP 地址进行排序。在处理日志文件时，可以使用 sed 命令来提取域名和 IP 地址。表示匹配数字和点号，或者匹配不含空格和制表符的字符串。grep 是一个用于搜索文本的命令，可以用于搜索日志文件中的域名和 IP 地址。
awk分析日志，统计ip、状态码、域名，详细示例【超实用
2401_83946826的博客
04-17 1166
注意日志中的列与日志格式中的列的对应关系；由于空格的存在，并不完全是一 一对应；如：日志中的第一列是ip，对应remoteaddr；四、五两列是时间对应四、五两列是时间对应[remoteaddr；四、五两列是时间对应time_local]，第二列是“-”，第三列也是“-”对应remoteuser信息为空则为“−，第六列是状态码对应remote\_user(信息为空则为“-”)，第六列是状态码对应remoteuser。
Python中return和yield的区别
最新发布
非猿
06-01 493
Python中return和yield的区别：return立即终止函数并返回值，函数状态被销毁；yield则暂停函数并保留状态，返回生成器对象用于惰性计算。return适合一次性返回全部结果（如普通函数），而yield适合处理大数据流或无限序列（如生成器）。关键差异在于状态保存和内存效率：return直接返回结果，yield按需生成值。示例显示squares_return返回完整列表，而squares_yield逐个生成平方数。选择依据取决于是否需要立即计算或逐步处理数据。
awk 统计ip出现次数
weixin_34372728的博客
10-11 748
2019独角兽企业重金招聘Python工程师标准>>> ...
【Linux命令】AWK 之统计日志中失败登陆的IP和次数
简单记录
07-18 1068
linux命令之awk使用记录。
Linux awk统计日志中出现过的IP(或出现次数最多的N个IP)
热门推荐
jirryzhang的博客
09-06 2万+
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk的用法 awk 'BEGIN{ commands } pattern{ commands } END{ commands }' 第一步：运行BEGIN{ commands ...
Linux基础命令练习 2：awk，substr()，sort【nginx日志分析-IP统计】
Elizay622的博客
12-08 401
题目来源：牛客网 题解： awk '{ if(substr($4, 2, 11) == "23/Apr/2020") temp[$1]++; }END{ for(i in temp){ print temp[i] " " i } }' nowcoder.txt | sort -nr -k1 substr($4, 2, 11)： awk默认使用空格分隔一行的各个数据； 根据日志格式可知，日期在分割后的第4项，取出第4项，整个作为 ...
linux下统计appche站点IP访问量的shell脚本
01-10
/bin/bash#Script_name: access_countacc_log=/usr/local/apache2/logs/access_log/bin/awk ‘{print $1}’ $acc_log | sort | uniq -c | sort -nr 执行效果: 代码如下:[root@zabbix ~]# sh access_count 94989 ...
linux日志生成速率统计,Linux学习29-awk提取log日志信息，统计日志里面ip访问次数排序...
06-02
可以使用 awk 命令来提取 log 日志信息，并统计日志里面 IP 访问次数排序。具体操作如下： ...以上命令会实时输出日志文件中 IP 地址的访问次数统计结果，可以通过观察结果来判断日志文件的生成速率。
awk 统计ip
刘涛的博客
12-05 1350
—————— yum安装awk yum install gawk 查看awk安装目录 which awk /bin/awk —————— 统计日志中出现不同的ip awk '{a[$1]++} END {for(i in a) print(a[i], i)}' visit.log | sort 1 113.110.176.131 1 180.153.114.199 2 101.226.3...
awk常用统计
Yonx
08-31 2201
Linux记录-常用统计awk #统计第一列ip的个数（uniq -c 打印重复行count计数） cat ip.txt | awk '{print $1}' | sort | uniq -c | sort -rn | head -n 10 #统计tcp连接状态个数 netstat -an | awk '/tcp/{print $6}' | sort | uniq -c awk '{print $1}' test.txt | sort | uniq -c #统计第一列ip的个数 awk '{su
统计日志中ip访问次数并排序的三种方法
菜的不行的IT民工
05-09 3265
1 利用linux中的awk命令 grep "GET aaa.log| awk -F " " '{print $NF}' >d:/test.log 假设日志的最后一行是ip地址，则取出日志的最后一行以空格为分隔符并且重定向到d盘下的test.log中。 取出之后还可以进一步操作直接统计出ip访问的次数并且降序排列。 cat test.log | sed 's/:[0-9]\+//g'| awk '{IP[$1]++}END {for(a in IP) print a"-----"IP[..
根据nginx日志统计ip访问量
wudinaniya的博客
10-23 1万+
根据nginx日志统计ip访问量，由浅入深，逐步讲解。涉及命令 awk、sort、uniq nginx access.log 日志内容截图如下： nginx access.log日志统计第一列 ip [root@izbp1845cet96se1qmb5ekz logs]# ls access.log error.log nginx.pid [root@izbp1845c...
使用awk统计分析
javascript_good的博客
06-08 718
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据的分析并生成报告时显得尤为强大，简单说就是awk把文件逐行读入，以空格为默认分隔符，将每行切片，切开的部分再进行分析处理，因为切开的部分使用awk可以定义变量，运算符，流程控制语句进行深度加工与分析。awk分解行记录,获取每一个域的记录域:根据指定符号,把一行记录分解成多个小记录,每个小记录成为域，记录:一行数据awk 分解记录:1.awk -F 分解符号2.awk 默认按照""分解。
使用sort,uniq去重并统计出现次数
abtmh02622的专栏
05-24 891
　　测试文档test 1 2 3 4 1 2 1 1 　　sort把相同的放在一起 [root@salt-test ~]# sort test 1 1 1 1 2 2 3 4 　　uniq -c统计出现的次数 [root@salt-test ~]# sort test |uniq -c 4 1 ...
在Linux中如何统计次数
03-08
<think>好的，用户想了解如何在Linux中使用命令行工具统计文件或日志中的出现次数。首先，我需要回顾常见的工具，比如awk、sort、uniq、grep和cut，这些是处理文本统计的常用命令。 用户提到的引用中有几个例子，比如使用awk统计IP出现的次数，或者用cut和sort结合uniq来处理特定字段。我应该先整理这些方法，确保覆盖不同的使用场景。比如，基本统计可以用uniq -c，但需要先排序，所以通常和sort搭配使用。对于按列处理的情况，可能需要用awk或cut提取特定字段，再进行统计。 另外，用户提供的示例命令中，有些涉及到多步骤的管道操作，比如引用5中的例子，用cut截取字符，sed替换字符，然后排序统计。我需要解释每个步骤的作用，这样用户能理解如何组合这些命令解决实际问题。 可能需要注意不同工具之间的差异，比如awk在处理列时更灵活，而cut适合简单的列分割。同时，引用3提到的perf和Instruments可能不太相关，但用户的问题集中在统计次数，所以主要关注文本处理工具。 还要考虑不同日志格式的情况，比如固定格式的日志如何用awk提取特定字段，或者如何过滤特定时间段的日志（如引用4中的Dec 10）。这些例子可以作为实际案例，帮助用户理解如何调整命令参数。 最后，需要验证这些方法的正确性，确保示例命令准确，比如检查awk的语法是否正确，避免单引号错误，以及管道顺序是否合理。同时，生成相关问题时要覆盖性能分析、优化和其他应用场景，帮助用户深入理解。</think>在Linux中统计文件或日志中的出现次数，可通过以下命令行工具组合实现： --- ### 一、基础统计方法 1. **统计所有行的出现次数** ```bash cat filename | sort | uniq -c | sort -nr ``` - `sort`：排序文本（`uniq`依赖有序输入） - `uniq -c`：统计重复行及其次数 - `sort -nr`：按次数降序排列[^2] 2. **统计特定关键词的出现次数** ```bash grep "keyword" filename | wc -l ``` - `grep`过滤含关键词的行，`wc -l`统计行数[^1] --- ### 二、按字段统计次数 1. **统计第N列值的频率** ```bash awk '{count[$2]++} END {for (val in count) print val, count[val]}' filename ``` - 统计第2列不同值的出现次数 2. **截取字段后统计（如日志时间戳）** ```bash cut -d' ' -f4 filename | sort | uniq -c ``` - `-d' '`指定空格分隔符，`-f4`提取第4列[^5] --- ### 三、复杂场景示例 1. **统计日志中不同IP的访问次数** ```bash awk '{ip_count[$1]++} END {for (ip in ip_count) print ip, ip_count[ip]}' /var/log/access.log ``` - `$1`表示日志第1列（假设为IP地址） 2. **统计包含日期的日志条目（如12月10日）** ```bash awk '/Dec 10/ {print $0}' /opt/mongod/log/mongod.log | wc -l ``` - 使用正则匹配日期后统计行数[^4] --- ### 四、性能优化建议 - 对于大文件，优先使用`awk`替代多次管道操作（如`cut`+`sed`+`sort`组合），因其单进程处理效率更高[^3] - 若需分析执行耗时，可用`time`命令前缀（如`time awk '{...}'`） ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值