awk分析nginx日志里面的接口响应时间

最新推荐文章于 2024-12-03 14:07:50 发布
最新推荐文章于 2024-12-03 14:07:50 发布 · 2.7k 阅读 · 1
文章标签：

#nginx

本文介绍如何使用awk工具分析Nginx服务器的日志文件，以找出响应时间较长的请求，具体步骤包括提取响应时间、去除引号干扰、合并文件及筛选响应时间超过1秒的URL。

最近，有客户反应客户端卡，老板集合技术人员开会讨论，找出慢的原因，由此产生了分析nginx响应时间，由于线上环境nginx日志格式带上了引号，处理起来有点麻烦，以下是处理过程

一、nginx日志格式

log_format main ‘$remote_addr – $remote_user [$time_iso8601] “$request” ‘
‘$status $body_bytes_sent “$http_referer” ‘
‘”$http_user_agent” “$http_x_forwarded_for” ‘
‘ “$upstream_addr” “$upstream_status” “$request_time” ‘;

二、nginx访问日志（/var/log/nginx）

12.124.127.44 – – [29/Jul/2014:20:54:20 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.001”
115.29.113.101 – – [29/Jul/2014:20:54:22 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.005”
112.124.127.53 – – [29/Jul/2014:20:56:49 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.002”
112.124.127.44 – – [29/Jul/2014:20:59:20 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.002”
115.29.113.101 – – [29/Jul/2014:20:59:22 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.002”

三、分析nginx日志

3.1打印响应时间并且去除引号

cat website.access.log| awk ‘{print $(NF)}’ | awk -F “\”” ‘{print $2′}>a.txt

3.2合并文件，将时间重新补上去

paste -d ” ” website.access.log  a.txt > b.txt

3.3查找响应时间大于1秒的url

cat b.txt |awk ‘($NF>1){print $6$7 ” ” $NF}’>c.txt

结果如下图
QQ图片20141027145344

 
 
声明: 本文采用  BY-NC-SA 协议进行授权. 转载请注明转自:  awk分析nginx日志里面的接口响应时间
 
标签:  awk,  cat,  Nginx
jxausea
关注
Nginx日志安全分析脚本
qq_40907977的博客
05-29 2324
nginx_log_check 脚本作者：al0ne 项目地址： https://github.com/al0ne/nginx_log_check Nginx日志安全分析脚本 功能 统计Top 20 地址 SQL注入分析 扫描器告警分析 漏洞利用检测 敏感路径访问 文件包含攻击 Webshell 寻找响应长度的url Top 20 寻找罕见的脚本文件访问 寻找302跳转的脚本文件 Usage 设置报告保存地址 outfile 设置日志分析目录 access_dir 设置日志名称 access_log
告别Nginx原始日志！VictoriaLogs+Grafana构建企业级应用日志分析平台实战
最新发布
全栈工程师修炼指南-IT知识分享
07-24 1966
描述：做为一个合格的运维工程师，在面对企业安全运维管理中，日志审计是一项非常重要的工作。授人以鱼不如授人以渔，各位运友们可参照作者的方案设计，在自己的项目中根据实际情况调整落地，例如，不在仅仅采集 NGINX 应用日志，而是采集 Apache、Tomcat、SpringBoot 等多种应用服务器的日志，又如，不再仅仅采集网络设备、安全审计审计日志，而是 Windows、Linux 等多种操作系统的审计日志等，大家可充分发挥想象、实践能力，也欢迎大家在知识星球中分享自己的方案设计，一起交流学习。
【nginx】nginx日志输出耗时request_time和upstream_response_time介绍
zwan0518的专栏
06-04 2583
对于nginx的日志输出耗时介绍，介绍request_time和upstream_response_time俩部分的差别。
【nginx】【06】nginx日志查询最大的响应时间
huiyanshizhen21的博客
04-20 713
查看nginx最大耗时 cat xxx.log |awk '{print $12}'|sort -nr|more
接口响应时间长排查，通过nginx日志查看接口响应时间
meimeib的博客
04-24 1万+
场景 vue项目中，页面请求接口响应速度非常慢，F12打开谷歌控制台，查看network，发现响应时间为1.14秒 排查问题 接口响应速度慢，后端打断点进入接口到返回这段时间有很快，要判断是什么问题，首先要确定是前端问题还是后端问题，可通过nginx日志查看接口响应时间 1. nginx查看日志 打开终端，登录服务器并输入服务器密码 //ssh 用户名@服务器ip ssh root@192.168.0.132 切换到nginx目录 cd /var/log/nginx/ 查看nginx日志
通过nginx日志，查看网页响应时间
Cookie_1030的专栏
10-21 3971
在nginx.conf文件中配置log_format log_format timed_combined '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" '
nginx设置服务器响应时间长短
Ls66666Ls的博客
04-26 8577
设置完重启nginx即可。
linux用grep、awk分析nginx的access.log的日志，根据时间段截取日志、统计某接口/关键字访问成功数量及平均响应时间。
勇往直泉的博客
03-18 9088
衍生文章链接：https://blog.youkuaiyun.com/enjoyphp/article/details/100024220 项目中亲测，命令全部有效 日志截取，从总日志文件中截取昨天已整天的数据出来，并覆盖到新文件中： cat access.log | awk '$4 >="[14/Mar/2019:00:00:00" && $4 <="[14/Ma...
统计Nginx的客户端IP，可以通过分析Nginx的访问日志文件来实现
不积跬步，无以至千里；不积小流，无以成江海。
12-03 1294
要统计Nginx的客户端IP，可以通过分析Nginx的访问日志文件来实现。
深入剖析Nginx日志：常用分析技巧汇总
漠效的博客
05-25 3500
前言 本来只是想写一篇Nginx日志的常用统计分析命令填充一下线上文档，虽然有点用但是觉得光写命令，文档太水了 于是就顺便总结一下，在nginx或web服务中，需要有哪些进行分析的内容以及为什么有这些需求 ps: 统计命令的原因 在于不是每个公司或web所在的服务器上都有配置elk或其他开源日志分析工具的，而且即使有工具有时也不能筛出自己想要的内容 日志格式 无论进行哪种日志的分析，首先要注意日志输出的格式，不要网上的拿来就直接用 以nginx来说，默认情况下没有特殊需求的，日志的配置如下：
Nginx日志中的`request_time`和`upstream_response_time`：区别与分析
热门推荐
私聊前往站内信：https://i.youkuaiyun.com/#/msg/chat/weixin_44976692
11-12 1万+
在 Nginx 的日志中，和是两个非常重要的性能指标。它们分别记录了请求的总处理时间和 Nginx 与上游服务器之间的交互时间。通过分析这两个指标，我们可以准确地定位性能瓶颈，从而采取针对性的优化措施，提升整个系统的响应速度和稳定性。：表示从客户端请求到 Nginx 完成处理的总时间，反映了整个请求的处理过程。：表示从 Nginx 向上游服务器发送请求到上游服务器返回响应的时间，反映了上游服务器的响应速度。通过合理配置和分析这两个指标，运维人员可以更好地优化系统，确保高效稳定的服务交付。
awk nginx日志分析接口响应时间
只知其一，等于一无所知
11-22 5405
awk命令进行nginx日志文件响应时间的分析，分析指写格式的nginx日志文件，打印响应时间并且去除引号，查找响应时间大于1秒的url地址等。 awk命令分析nginx响应时间，线上环境nginx日志格式带上了引号，在用awk分析日志时注意下细节。 一、nginx日志格式   log_format main ‘$remote_add
awk分析nginx日志中响应时间的方法
csdcit的博客
01-04 6797
针对响应时间慢的问题，我们在nginx日志格式中增加响应时间，现在需要针对响应时间进行分析，查找出相对较慢的响应时间。   1、确认下日志文件格式   日志格式： log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $bod
linux awk nginx日志分析,awk分析nginx日志里面的接口响应时间
weixin_39618456的博客
05-05 616
最近，有客户反应客户端卡，老板集合技术人员开会讨论，找出慢的原因，由此产生了分析nginx响应时间，由于线上环境nginx日志格式带上了引号，处理起来有点麻烦，以下是处理过程一、nginx日志格式log_format main ‘$remote_addr – $remote_user [$time_iso8601] “$request” ‘‘$status $body_bytes_sent “$h...
3-5年的PHPer常见的面试题
weixin_33970449的博客
10-14 202
看到有很多，的总结一下，比较适合有一定经验的PHPer 平时喜欢哪些php书籍及博客？优快云、虎嗅、猎云 js闭包是什么，原型链了不了解？ for与foreach哪个更快？ php鸟哥是谁？能不能讲一下php执行原理? php加速器有哪些？apc、xcache.....能不能讲一下它的加速原理，与现在的O+有什么差别？ Node.js能...
根据nginx的access_log查看接口请求时间
wxh958548129的博客
05-08 5434
 log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                      '$status $body_bytes_sent "$http_referer" '                      '"$http_user_agent" "$http_x_forwarded_...
nginx log记录请求响应时间
weixin_33778778的博客
09-22 1万+
2019独角兽企业重金招聘Python工程师标准>>> ...
面试题-总结
weixin_30462049的博客
07-12 234
https://lufficc.com/blog/the-core-conception-of-git?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io redis 主从复制 redis缓存与数据库一致性问题解决方案 redis 实现分布式锁 redis 中AOF 和RDB持久化策略 redis读写...
Linux 查询接口的响应时间
平常心的博客
10-28 5997
首先增加切面，在一条请求链中前后加上日志，记录请求链的执行时间：log.info("RESPONSE URL==>{}, cost==>{}ms",request.getRequestURL(), System.currentTimeMillis() - startTime.get()); 查询接口的响应时间： grep '接口名称' 日志文件 | grep -aoP '(?&lt...
nginx 调用外部接口日志统计
05-29
### 在 Nginx 中统计调用外部接口的日志数据 为了在 Nginx 中统计调用外部接口的日志数据，可以利用 Nginx 的日志功能进行自定义配置。Nginx 提供了灵活的日志记录机制，允许用户通过 `log_format` 指令定义日志格式，并结合 `access_log` 指令将请求信息记录到指定文件中[^1]。 以下是实现方法的详细说明： #### 1. 定义自定义日志格式 通过 `log_format` 指令定义一个包含所需字段的日志格式。例如，假设需要记录以下信息： - 请求的时间戳 - 客户端 IP 地址 - 请求的方法和路径 - 响应状态码 - 请求的响应时间 - 转发的目标地址（即外部接口） 可以在 Nginx 配置文件中添加如下内容： ```nginx log_format external_api '$remote_addr - $remote_user [$time_local] ' '"$request" $status $body_bytes_sent ' '"$http_referer" "$http_user_agent" ' 'proxy_time=$upstream_response_time ' 'proxy_host=$upstream_addr'; ``` #### 2. 配置代理日志 接下来，在代理外部接口的 `location` 块中启用日志记录。例如： ```nginx server { listen 80; server_name example.com; location /api/ { proxy_pass http://external-api.example.com; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; # 启用自定义日志 access_log /var/log/nginx/external_api.log external_api; } } ``` 上述配置中，所有匹配 `/api/` 路径的请求会被转发到 `http://external-api.example.com`，同时将相关日志信息记录到 `/var/log/nginx/external_api.log` 文件中[^1]。 #### 3. 日志分析 生成的日志文件可以使用工具如 `awk`、`grep` 或专门的日志分析工具（如 ELK Stack）进行解析和统计。例如，统计某个时间段内的请求数量或平均响应时间。 #### 示例代码：解析日志中的响应时间 以下是一个简单的 Bash 脚本示例，用于计算日志中所有请求的平均响应时间： ```bash #!/bin/bash LOG_FILE="/var/log/nginx/external_api.log" # 提取日志中的 upstream_response_time 字段并计算平均值 total_time=0 count=0 while read -r line; do time=$(echo "$line" | grep -oP '(?<=proxy_time=)[0-9\.]+') if [[ ! -z "$time" ]]; then total_time=$(echo "$total_time + $time" | bc) count=$((count + 1)) fi done < "$LOG_FILE" if [ $count -ne 0 ]; then avg_time=$(echo "scale=2; $total_time / $count" | bc) echo "Average response time: $avg_time seconds" else echo "No requests found in the log." fi ``` #### 注意事项 - 确保日志文件的路径和权限设置正确。 - 如果需要更高的性能，可以考虑将日志写入远程服务器或使用异步日志记录[^2]。 ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值