Shell 分析服务器日志常用命令

数据湾干货分享——20条Shell 分析服务器日志命令 对于服务器日志的分析并不容易进行,初学者,以及在绝大多数情况下,进行以用户行为分析为核心的网站分析,都是用不到服务器日志的,而是通过流量统计工具,不过,作为网站分析历史不可分割的一部分以及重要的基础篇章,服务器日志法仍然值得一学的。 数据湾今天给大家分享20条Shell 分析服务器日志命令,大家可以试试! 1、查看有多少个IP访问: awk '{print $1}' log_file|sort|uniq|wc -l 2、查看某一个页面被访问的次数: grep "/index.php" log_ 阅读详情

1、查看有多少个IP访问:
日志文件的第一列是IP地址

awk '{print $1}' log_file|sort|uniq|wc -l

2、查看某一个页面被访问的次数:

grep "/index.php" log_file | wc -l

3、查看每一个IP访问了多少个页面:

awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file > log.txt
sort -n -t ' ' -k 2 log.txt 配合sort进一步排序

4、将每个IP访问的页面数进行从小到大排序:

awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n

5、查看某一个IP访问了哪些页面:

grep ^111.111.111.111 log_file| awk '{print $1,$7}'

6、去掉搜索引擎统计的页面:

awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l

7、查看2015年8月16日14时这一个小时内有多少IP访问:

awk '{print $4,$1}' log_file | grep 16/Aug/2015:14 | awk '{print $2}'| sort | uniq | wc -l

8、查看访问前十个ip地址

awk '{print $1}' |sort|uniq -c|sort -nr |head -10 access_log

uniq -c 相当于分组统计并把统计数放在最前面

cat access.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -10
cat access.log|awk '{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}

9、访问次数最多的10个文件或页面

cat log_file|awk '{print $11}'|sort|uniq -c|sort -nr | head -10
cat log_file|awk '{print $11}'|sort|uniq -c|sort -nr|head -20
awk '{print $1}' log_file |sort -n -r |uniq -c | sort -n -r | head -20

访问量最大的前20个ip

10、通过子域名访问次数,依据referer来计算,稍有不准

cat access.log | awk '{print $11}' | sed -e ' s/http:\/\///' -e ' s/\/.*//' | sort | uniq -c | sort -rn | head -20

11、列出传输大小最大的几个文件

cat www.access.log |awk '($7~/\.php/){print $10 " " $1 " " $4 " " $7}'|sort -nr|head -100

12、列出输出大于200000byte(约200kb)的页面以及对应页面发生次数

cat www.access.log |awk '($10 > 200000 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

13、如果日志最后一列记录的是页面文件传输时间,则有列出到客户端最耗时的页面

cat www.access.log |awk '($7~/\.php/){print $NF " " $1 " " $4 " " $7}'|sort -nr|head -100

14、列出最最耗时的页面(超过60秒的)的以及对应页面发生次数

cat www.access.log |awk '($NF > 60 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

15、列出传输时间超过 30 秒的文件

cat www.access.log |awk '($NF > 30){print $7}'|sort -n|uniq -c|sort -nr|head -20

16、列出当前服务器每一进程运行的数量,倒序排列

ps -ef | awk -F ' ' '{print $8 " " $9}' |sort | uniq -c |sort -nr |head -20

17、查看apache当前并发访问数

对比httpd.conf中MaxClients的数字差距多少

netstat -an | grep ESTABLISHED | wc -l

18、可以使用如下参数查看数据

ps -ef|grep httpd|wc -l
1388

统计httpd进程数,连个请求会启动一个进程,使用于Apache服务器。

表示Apache能够处理1388个并发请求,这个值Apache可根据负载情况自动调整

netstat -nat|grep -i "80"|wc -l
4341

netstat -an会打印系统当前网络链接状态,而grep -i “80”是用来提取与80端口有关的连接的,wc -l进行连接数统计。

最终返回的数字就是当前所有80端口的请求总数

netstat -na|grep ESTABLISHED|wc -l
376

netstat -an会打印系统当前网络链接状态,而grep ESTABLISHED 提取出已建立连接的信息。然后wc -l统计
最终返回的数字就是当前所有80端口的已建立连接的总数。

netstat -nat||grep ESTABLISHED|wc

可查看所有建立连接的详细记录

19、输出每个ip的连接数,以及总的各个状态的连接数

netstat -n | awk '/^tcp/ {n=split($(NF-1),array,":");if(n<=2)++S[array[(1)]];else++S[array[(4)]];++s[$NF];++N} END {for(a in S){printf("%-20s %s\n", a, S[a]);++I}printf("%-20s %s\n","TOTAL_IP",I);for(a in s) printf("%-20s %s\n",a, s[a]);printf("%-20s %s\n","TOTAL_LINK",N);}'

21、分析日志文件下 2012-05-04 访问页面最高 的前20个 URL 并排序

cat access.log |grep '04/May/2012'| awk '{print $11}'|sort|uniq -c|sort -nr|head -20

22、查询受访问页面的URL地址中 含有 www.abc.com 网址的 IP 地址

cat access_log | awk '($11~/\www.abc.com/){print $1}'|sort|uniq -c|sort -nr

23、获取访问最高的10个IP地址 同时也可以按时间来查询

cat linewow-access.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -10

24、时间段查询日志时间段的情况

cat log_file | egrep '15/Aug/2015|16/Aug/2015' |awk '{print $1}'|sort|uniq -c|sort -nr|head -10

25、列出最最耗时的页面(超过60秒的)的以及对应页面发生次数

cat access.log |awk '($NF > 60 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100
Shell 分析服务器日志命令集锦 LAST_ACK 5 #关闭一个TCP连接需要从两个方向上分别进行关闭,双方都是通过发送FIN来表示单方向数据的关闭,当通信双方发送了最后一个FIN的时候,发送方此时处于LAST_ACK状态,当发送方收到对方的确认(Fin的Ack确认)后才真正关闭整个TCP连接;netstat -an会打印系统当前网络链接状态,而grep -i “80”是用来提取与80端口有关的连接的,wc -l进行连接数统计。($7 ~ /.php/) $7里面包含.php的就输出,本句的意思是最耗时的一百个PHP页面。 阅读详情

相关推荐

使用Shell对apache日志进行分析

人人网一个笔试题就是要求用shell分析Apache日志(/usr/local/apache2/logs/access_log),要求列出当天访问次数最多的IP,下面是典型的访问信息的log。用shell列出访问最多的20个ip: 180.168.41.175 - - [23/Aug/2011:14:47:37 -0400] "GET / HTTP/1.0" 200 654 216.3

Mr_Willy的专栏 1715

shell 生成日志的几种方法

shell 生成日志的几种方法

岳来的博客 1万+

这些Shell分析服务器日志命令集锦,优秀!

自己的小网站跑在阿里云的 ECS 上面, 偶尔也去分析分析自己网站服务器日志,看看网站的访问量。看看有没有黑客搞破坏!于是收集,整理一些服务器日志分析命令,大家可以试试! 2、查看某一个页面被访问的次数: 3、查看每一个IP访问了多少个页面: 4、将每个IP访问的页面数进行从小到大排序: 5、查看某一个IP访问了哪些页面: 6、去掉搜索引擎统计的页面: 7、查看2015年8月16日14时这一个小时内有多少IP访问: 8、查看访问前十个ip地址 un

关注我!带你一路 "狂飙" 到底! 1837

Shell执行脚本并输出日志文件的方法

本文主要介绍了Shell执行脚本并输出日志文件的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下shell 错误输出重定向到标准输出1>和&1的意思就是将标准错误也输出到标准输出当中。下面通过一个例子来展示2>&1有什么作用:123cat。

xiaoweids的博客 7589

Linux shell脚本输出日志笔记整理(必看篇)

下面小编就为大家带来一篇Linux shell脚本输出日志笔记整理(必看篇)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧

AI 代码赋能短视频带货:服装及多赛道批量内容生产全流程实操

本文聚焦 AI 技术在短视频带货领域的落地应用,以服装赛道为核心,延伸至花卉绿植、图书、茶具等热门领域,系统拆解 AI 工具在选品、素材处理、视频制作(含动态效果、场景搭建)、运营优化等环节的实操方法。针对从业者普遍面临的 “内容生产低效”“无专业技术难出优质视频”“流量运营踩坑” 等痛点,提供从基础工具使用到高阶视频制作的全流程技术方案,助力相关从业者借助 AI 实现批量、高效的短视频内容产出。

m0_67958922的博客 3086

SHELL脚本写日志的方法

1. 最简单的 COMMEND >& test.log 将COMMEND控制台输出内容写入test.log文件,且控制台不打印 上述命令实际上是下面命令的简写形式,说明将标准输出和标准错误输出都写入了test.log文件 COMMEND >log 2>&1 2. 使用管道 COMMEND 2>&1 | tee test.log 将控制台输出与错误输出写入日志test.log,并打印 当然,因为使用了tee,该日志也可以传入下一级做处理,或者 COMMEN

qq_44776899的博客 4353

从理论到实践:全面解析Cmk(设备能力指数)的应用与优化

本文全面解析了设备能力指数Cmk的核心概念、计算逻辑与关键应用场景。Cmk作为衡量设备本身固有加工能力的黄金标准,在设备验收、大修后验证及过程能力根因分析中至关重要。文章通过实战案例,详细阐述了执行Cmk测试的“五大固定”黄金法则、数据计算分析方法,并提供了Cmk不达标时的系统性排查与优化策略,帮助制造企业实现预防性质量管理。

jump7的博客 534

执行shell命令时实时输出日志

执行shell命令时实时输出日志

2832

实战指南 | Adjust 与 Facebook、Google Ads 自归因配置全流程解析

本文详细解析了Adjust与Facebook、Google Ads自归因配置的全流程,帮助移动应用出海推广者解决广告归因难题。通过自归因功能(SAN),开发者可以获取更准确的数据、简化配置流程并扩大安装来源覆盖,显著提升广告效果监测和ROI计算效率。

weixin_42528780的博客 539

R语言分段回归

1.利用虚拟变量进行线性回归 (MEdata.csv的数据来源:https://github.com/ChenQihome9/优快云-Data-Library/blob/master/MEdata.csv) 问题13:针对TAX~GDP,使用分段回归方法,找到其回归方程。编程,并根据程序结果叙述如下几方面问题:(1)分几段最佳?(不超过5段内)(2)分段位置定在哪儿最佳?(3)写出最佳方...

ChenQihome9的博客 1万+

Shell脚本日志输出完整指南(AI)

本文详细介绍了Shell脚本中的日志管理方法,涵盖了基础日志输出、日志轮转、系统日志集成以及高级日志处理技术。基础日志输出包括使用重定向操作符和tee命令,以及日志格式化和彩色输出技巧。日志轮转部分介绍了logrotate工具的使用和手动日志分割脚本的编写。系统日志集成部分讲解了如何通过logger命令将日志发送到syslog,并配置rsyslog接收脚本日志。高级日志处理部分涉及异步日志记录、错误处理机制和日志监控与分析。最后,总结了日志管理的最佳实践,包括基本日志、日志格式、日志轮转、系统集成、错误处理

行走の飞鱼博客 1165

Abaqus子程序开发避坑指南:从UMESHMOTION到齿轮磨损分析实战

本文深入探讨Abaqus子程序开发中的关键技术与避坑指南,重点解析UMESHMOTION在齿轮磨损分析中的实战应用。从开发环境搭建、调试框架构建到性能优化和大规模计算,提供系统化的解决方案。通过真实案例展示如何避免内存泄漏、网格畸变等常见问题,并介绍数据驱动的磨损预测等前沿技术,帮助工程师提升仿真精度与效率。

weixin_30892037的博客 90

5个Shell脚本实战案例:从日志分析到自动化部署

最近我用Shell脚本解决了几个实际问题,这里分享5个典型场景的实战案例,每个脚本都经过优化并附有详细注释。对于需要长期运行的脚本(比如日志监控和健康检查),平台的一键部署功能特别实用。整个使用过程很流畅,特别适合想快速验证脚本效果的新手。这是一个综合性的服务器状态检查工具,能够一键获取CPU、内存、磁盘、网络等关键指标。它的在线编辑器可以直接运行Shell脚本,还能一键部署成可用的服务,省去了配置环境的麻烦。这个脚本解决了我们团队的文件备份需求,支持增量备份和全量备份两种模式。

AgatePanther34的博客 690

Ollama+FAISS+Embedding+Rerank+LLM 详细部署指南

下载安装Ollama 双击运行安装程序 安装完成后会自动启动服务 修改默认安装路径(避免C盘爆满) 或使用PowerShell: 验证安装 Linux系统部署: (二)准备模型 1. 拉取Embedding模型 2. 拉取LLM模型 注意:原文中提到的可能需要从自定义仓库拉取: 3. 下载Rerank模型 (三)安装依赖库 创建项目目录和虚拟环境: 二、主要功能实现 项目结构 (一)配置文件(config/config.yaml) (二)文本分块策略实现 创建 : (三)文档读取

AI技术改变世界 1590

R语言glm函数构建二分类logistic回归模型、epiDisplay包logistic.display函数获取模型汇总统计信息(自变量初始和调整后的优势比及置信区间,回归系数的Wald检验的p值

R语言glm函数构建二分类logistic回归模型(family参数为binomial)、使用epiDisplay包logistic.display函数获取模型汇总统计信息(自变量初始和调整后的优势比及置信区间,回归系数的Wald检验的p值)

statistics+insight+vista+power 1398

linux 访问日志ip排序,Linux通过日志文件统计IP访问次数排序

假设我的日志文件内容如下:218.92.217.53 - - [22/Nov/2017:17:26:27 +0800] "GET /images/rand HTTP/1.0" 200 1785 "https://www.baidu.com/index.shtml" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/...

weixin_36099614的博客 704

【ComfyUI】Z-Image 基础文生图 + 单LoRA

本文介绍了一个基于ComfyUI的Z-Image Turbo基础文生图工作流,采用轻量化UNet模型配合Qwen Image文本理解模型与LoRA风格注入,实现从文本到图像的快速生成。工作流结构清晰,包含模型加载、文本编码、采样解码等标准节点,在人物生成、构图稳定性和出图速度方面表现均衡。通过调整Prompt可控制生成内容,适合日常创作、教学演示及扩展进阶应用。

Mr数据杨 932

apachelog分析脚本

来源:http://bbs.linuxtone.org/thread-4936-1-1.html作者:可爱的卧底假设apache日志格式为:118.78.199.98 - - [09/Jan/2010:00:59:59 +0800] "GET /Public/Css/index.css HTTP/1.1" 304 - "http://www.a.cn/common/index...

weixin_34357267的博客 71

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Shell在日常工作中的应用实践

作为一名测试开发工程师,在与linux服务器交互过程中,大都遇到过许多问题,shell脚本小巧且功能强大,本篇文章给大家分享了些日常使用到的shell脚本,帮助我们提高工作效率

JDDTechTalk的博客 786

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Linux 业务场景常用命令详解

本文汇总了Linux系统运维的实用命令集,涵盖系统监控、故障排查、日常操作、网络配置、容器管理等核心场景。主要内容包括:系统资源(CPU/内存/磁盘)监控命令(top/htop/free/iostat);日志分析技巧(grep/tail/journalctl);文件权限管理、定时任务设置;网络诊断工具(netstat/ss/mtr);Docker和Kubernetes常用操作;Shell脚本编写规范;内核参数调优以及安全审计方法。特别提供了性能监控组合命令和批量处理技巧,并推荐了命令别名、历史记录优化等最佳

萧曳丶 313

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

服务器Shell分析日志命令

近日在网上闲逛时,看到一些关于服务器shell进行日志分析的命令,觉得很不错就收集起来,自己也是做网站的,也喜欢没事鼓捣一下自己的服务器。 来源:这些 Shell 分析服务器日志命令集锦,优秀! 1、查看IP访问量 awk '{print $1}' log_file|sort|uniq|wc -l awk 是一种处理文本文件的语言,是一个强大的文本分析工具 2、查看页面被访问的次数 grep "/index.php" log_file | wc -l 3、查看单独IP访问的页面数量 awk '{

weixin_43081250的博客 2617

这些 Shell 分析服务器日志命令集锦

这些 Shell 分析服务器日志命令集锦,收藏好了~ Linux就该这么学3天前 作者:Panda 链接:https://reurl.cc/kVrNXb 自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量。看看有没有黑阔搞破坏!于是收集,整理一些服务器日志分析命令,大家可以试试! 1、查看有多少个IP访问: awk'{print$1}'log_file|sort|uniq|wc-l 2、查看某一个页面被访问的次数:...

wzlsunice88的博客 246

多服务器日志合并统计分析 shell 脚本 及 Nginx日志按小时切割压缩的shell脚本

写了一个简单的多服务器日志合并统计分析的 shell 脚本程序。logsys.sh代码实现的功能也很简单:从另外五台服务器上通过rsync,将昨天的日志同步过来,然后合并五个日志文件,我这里因为需要有大量对单独的card请求进行统计,所以将card单独转存进行统计。分析得到结果后写一个html邮件发送给自己邮箱。从而避免需要自己去服务器进行命令下操作了。这里只是做了一个分析统计,并以简单的格式发送至邮箱,更好的方式可以考虑将数据写进redis, 用WEB方式来呈现,更加美观好用。

本博客记录了从2014年以来在工作学习中遇到的技术问题、解决方法以及部分个人人生经历、经验等内容。 941

常用 Shell 分析服务器日志命令

日志分析命令

wzlsunice88的博客 702

常用的Shell 分析服务器日志命令,请收藏好哦!

前言:自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量。于是收集,整理一些服务器日志分析命令,大家可以试试! 1、查看有多少个IP访问: awk '{print $1}' log_file|sort|uniq|wc -l 2、查看某一个页面被访问的次数: grep "/index.php" log_file | wc -l 3、查看每一个IP访问了多少个页面: awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_

李文良的博客 4万+
上一篇: django使用mysql数据库
下一篇: django处理分页
javascript_good
博客等级 码龄12年 118粉丝 135原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

javascript_good

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值