统计日志文件中的接口请求数量并排序

日志中bizType字段提取
最新推荐文章于 2024-01-15 17:08:04 发布
原创 最新推荐文章于 2024-01-15 17:08:04 发布 · 674 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种从日志文件中批量提取特定字段（bizType）的方法，使用了find、xargs、cat、grep、awk、sort、uniq和wc等命令组合，实现了对多个日志文件中bizType字段的高效提取、排序和计数。

 find . -name "*log"|xargs cat|grep '{"bizType":"'|awk -F '("bizType":")' '{print $2}'|awk -F '(",")' '{print $1}'|sort|uniq -c|sort -r

相关业务问题+系统问题+设计问题整理统计
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-07 171万+
业务系统及其他相关面试问题整理：线上相关问题排查+高并发系统的限流+高并发秒杀系统设计+负载均衡+一个网站有 20 亿 url 存在一个黑名单中，这个黑名单要怎么存？若此时随便输入一个 url，你如何快速判断该 url 是否在这个黑名单中？并且需在给定内存空间（比如：500M）内快速判断出？
SpringBoot（审计） 统计接口调用次数及成功率
weixin_30412013的博客
10-18 2438
介绍： 　　很多时候会需要提供一些统计记录的，比如某个服务一个月的被调用量、接口的调用次数、成功调用次数等等。 优点： 　　使用AOP+Hendler对业务逻辑代码无侵入，完全解耦。通过spring boot自带的健康检查接口（/health）方便、安全。 注意： 　　数据没有被持久化，只保存在内存中，重启后数据将被重置。可按需自己实现 代码： 　　AOP:在AOP中调用Handl...
linux如何按月统计日志中的接口访问数量
最新发布
我的博客
01-15 809
linux如何按月统计日志中的接口访问数量。这个需要借助awk和grep命令来实现。linux中提供了很多强大的命令供我们进行统计使用，awk就是其中一个。
一次日志请求次数统计
weixin_30501857的博客
09-07 237
package test; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.Map; import java.util.TreeMap; public...
linux日志分析查看接口请求量
热门推荐
Nothing
04-18 1万+
好久没写博客了,最近工作太忙了,昨天有同事问我,接口的调用量大致是多少,就从网上和公司的日志格式写了个小工具,日志格式如下大致可以看到,  以数字开头,并且文本中还有http关键字,然后在配合awk命令就可以匹配到,工具如下cat http.log | grep -P '^\d' | grep 'http'| awk -F ' ' '{print $2;}' | awk -F: '{a[$1"...
【记录版】SpringBoot中Servlet接口请求日志记录
src1025的博客
12-22 1586
SpringBoot项目中全局接口日志记录
接口耗时打印并统计
weixin_34161032的博客
12-28 2480
1.可以利用Tomcat的access-log日志，让其打印出http请求的每次耗时。可以在 config/server.xml里Host标签下配置tomcat访问日志格式 <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"               prefix="localhos...
如何快速过滤统计nginx日志中的访问量和常用统计分析命令
小渣渣
09-09 1667
nginx访问量 IP相关统计 1.根据访问IP统计UV（可以理解成访问网站的电脑的数量） awk '{print $1}' access.log|sort | uniq -c |wc -l 2.查看某一时间段的IP访问量(4-5点) grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 3.查看访问最频繁的前100个IP awk '{print $1}' acce
36、统计日志中出现次数最多的前10个ip
weixin_43927540的博客
08-18 1662
题目 统计日志中出现次数最多的前10个ip 解法 利用shell脚本即可 cat test.log | awk -F ' ' '{print $2}'| sort | uniq -c|sort -n -r|awk -F ' ' '{print $2}'|head -n 5 脚本分析： 1.cat *.log将文本内容打印到屏幕 2.使用awk命令可以按照分割符将一行分割为多个列，第一列用$1表示，第二列用$2表示，依次类推 awk -F" " '{print $2} //表示用空格作为分隔符进行
Flink实战-实时读取日志文件和kafka，持续统计TOP10热门商品
MaFei的博客
01-01 4228
从日志中读取数据做一些统计聚合，最终把想要的数据输出，基本是每个公司都会有的场景，比如用户分析，商品分析，实时大屏等等，我们最早的做法是全部读出来，写到redis或者es去，然后web端再去实时查询统计，其实有很多的弊端 要么每次请求都会去重新算一遍耗性能不说还慢的不行，业务方接受不了 或者直接把统计信息存进去，但要实时统计就比较麻烦，比如1小时存一个点，那业务方可能要的是当前10:05-11:0...
使用 RestTemplate 进行网络接口请求
asxyxxx的博客
12-31 1389
RestTemplate是Spring框架提供的一个工具类，用于进行网络请求。通过RestTemplate，可以简化开发，提高开发效率，避免重复造轮子等。本文将介绍RestTemplate的常见用法，包括GET和POST请求、文件上传、以及常用配置。
统计接口调用的次数
howeres的博客
03-02 1999
使用 Redis 的 hyperloglog。 grep 日志 # url 出现的行数 grep -c "/api" file_name # or url 出现的次数 grep -o "/api" file_name | wc -l # 精确匹配 grep -wo "keyword" filename |wc -l
Linux统计接口调用次数
铃萌的博客
02-23 3956
背景：对外提供的接口使用过滤器TraceLogProviderFilter打印了请求相关的日志信息，所以可以根据日志中的关键词TraceLogProviderFilter来统计接口请求次数 日志打印格式 2020-02-23 12:06:49.156 INFO [com.zkh360.service.punchout.filter.TraceLogProviderFilter] [4429...
aop统计请求数量_Spring AOP的接口耗时统计
weixin_39974932的博客
12-21 202
Spring AOP的接口耗时统计/*** 通知** @author wwl**/public class ActionAdvice implements MethodInterceptor {private Log log=LogFactory.getLog(ActionAdvice.class);@Overridepublic Object invoke(MethodInvocation in...
通过nginx access.log统计指定接口访问量
wangtingting_100的博客
06-26 4082
背景：查看loginByMobile接口访问量，排查被攻击cat access.log|grep loginByMobile| awk '{print $1}'|sort |uniq -c|more
接口的认证，访问量，频率的统计
zhang1206214477的专栏
03-25 2929
说明：应用中对同一个方法 调用次数和调用时间的限制问题 要求： 用户调用一方法，当第一次开始调用的时候开始计时， 在时间间隔 len 内，time为第几个调用， 每次调用时 time 加1，最多访问次数 num。 len间隔内，调用次数time小于num时，返回 true len间隔内，调用次数time大于num时，返回 false len时间以后，再有调用的就重新计数。
单接口统计每个用户请求数
迷然
07-11 745
下面的内容主要是个人的理解及对相应理解结果的验证。理解可能有误，验证示例涵盖范围可能不全面。有不同意见，欢迎讨论。 什么是原子性？ 无奈，笔者并没有找到一个明确的、统一的定义，所以只能按照字面的意思进行理解和描述（非定义。笔者在此多说几句，有些事物，我们没办法明确去定义，所以通过归纳其现象描述其性质，以此来代替定义。比如时间的定义，我们没办法去定义什么是时间，但是我们可以说时间是不可逆转的来描述时间应该有的行为或性质）。原子性自然就是原子的性质，而原子的性质就是原子的不可分割性（这里笔者再多说几句，当我
运用切面对某个方法的调用次数进行统计
fengtangjiang的博客
07-06 851
运用切面对某个方法的调用次数进行统计： 开发中，有个统计某个接口的前端调用次数，谁想到用调用次数来反映下载次数，我也是醉了，写完后总结如下： Action类： @Target(ElementType.METHOD) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface Action { String name(); } ApiVisitHistory历史统计类 @Component @Aspect public cl
shell脚本统计接口访问量
weixin_34129696的博客
11-16 421
1 2 3 4 5 6 7 8 9 10 #!/bin/bash cd/etc/nginx/logs/old/ foriin`seq130` do dt=`date-d"$idayago"+%Y%m%d` cd${dt} line=`cat*_sl.senseyun.com-getTi...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值