记一次应用接口日志访问量和访问时长统计

最新推荐文章于 2025-06-27 09:00:00 发布
最新推荐文章于 2025-06-27 09:00:00 发布
阅读量2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Guo_Xiaoxi/article/details/88549501
本文分享了从下载运维归档日志开始，通过预处理、导入Excel、再到使用数据库进行高效统计分析的过程，对比了不同工具在处理大量日志数据时的速度与便捷性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019-03-14
1、下载运维每天归档的日志
2、找运维要到 tomcat acess log 配置格式为 pattern="%{X-Forwarded-For}i %l %u %t “%r” %m %s %b %D"
3、日志数据量不是很大，一共两个文件，每个文件60W数据量。先导入到excel中，预处理了一下，几个不需要的字段删除掉，本来想在excel中统计，速度太慢，统计了两个接口就受不了了，真的太慢了；
4、在数据库中建一张表，再将excel中数据导入数据库中，并为表加索引，写几行SQL就行，然后查询统计，速度比用excel快了很多，也比excel处理方便

SpringBoot（审计） 统计接口调用次数及成功率
weixin_30412013的博客
10-18 2406
介绍： 　　很多时候会需要提供一些统计记录的，比如某个服务一个月的被调用量、接口的调用次数、成功调用次数等等。 优点： 　　使用AOP+Hendler对业务逻辑代码无侵入，完全解耦。通过spring boot自带的健康检查接口（/health）方便、安全。 注意： 　　数据没有被持久化，只保存在内存中，重启后数据将被重置。可按需自己实现 代码： 　　AOP:在AOP中调用Handl...
API项目6：接口调用次数的统计 && 网关
Gus10124的博客
10-21 2614
本项目是一个面向开发者的 API 平台，提供 API 接口供开发者调用。用户通过注册登录，可以开通接口调用权限，并可以浏览和调用接口。每次调用都会进行统计，用户可以根据统计数据进行分析和优化。管理员可以发布接口、下线接口、接入接口，并可视化接口的调用情况和数据。本项目侧重于后端，涉及多种编程技巧和架构设计层面的知识。后端项目现在有 backend、interface，因为平台可以接入任何人开发的接口，不一定是同一个团队或者公司内部的项目。
Spring Aop 高级应用之记录接口调用的次数
杨海吉
01-06 4396
本文的主要目的： 记录每个URL是何时被调用的 应用场景：可以进行持久化存储，用于后期分期，每个接口的使用情况，对项目进行深度分析 实现步骤 前提：本文使用SpringBoot2.0.3 文末有源码地址，还有惊喜奉送！ 一.定义日志记录对象 package com.javayh.nacos.common.aop.flow; import lombok.Builder; import lomb...
【NPS】内网穿透详细配置教程，通俗易懂，小白也能五分钟搞定！
最新发布
zi_Shu99的博客
06-27 2833
NPS 是一款轻量级、高性能、功能强大的内网穿透代理服务器。目前支持tcp、udp流量转发，可支持任何tcp、udp上层协议（访问内网网站、本地支付接口调试、ssh访问、远程桌面，内网dns解析等等……），此外还支持内网http代理、内网socks5代理、p2p等，并带有功能强大的web管理端。本人写这篇文章的目的就是力求零运维基础的小白看了也能直接配好，每行要执行的代码前面会标注执行原因。
接口耗时打印并统计
weixin_34161032的博客
12-28 2461
1.可以利用Tomcat的access-log日志，让其打印出http请求的每次耗时。可以在 config/server.xml里Host标签下配置tomcat访问日志格式 <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"               prefix="localhos...
接口耗时统计——koTime
n1355553344的博客
08-28 1281
俗话说，简单的就是最好的，之前收藏的工具今天简单测试用下。 加入依赖，kotime本体没什么说的，freemarker和aop是kotime依赖的，项目没有的话也要加上。 <dependency> <groupId>cn.langpy</groupId> <artifactId>ko-time</artifactId> <version>2.0.0</version> &lt
统计接口调用的次数
howeres的博客
03-02 1946
使用 Redis 的 hyperloglog。 grep 日志 # url 出现的行数 grep -c "/api" file_name # or url 出现的次数 grep -o "/api" file_name | wc -l # 精确匹配 grep -wo "keyword" filename |wc -l
Java web网站访问量的统计
08-31
在Java Web开发中，统计网站访问量是一项基本的需求，它可以帮助开发者了解网站的活跃度和受欢迎程度。本文将深入探讨如何使用Java实现一个简单的网站访问量统计系统。 首先，我们需要理解统计网站访问量的基本原理...
SpringBoot应用接口访问信息记录与分析
总结来说，实现记录应用接口访问信息需要对SpringBoot框架、AOP、日志框架、Actuator端点等方面有充分的理解和应用能力。开发者需要在项目中合理地运用这些技术点，构建出既能提供必要监控信息，又不会对系统性能...
深度解析ZGC：高效垃圾回收的应用与优化
热门推荐
张彦峰的博客
04-07 176万+
随着现代应用对性能的要求不断提高，ZGC（Z Garbage Collector）作为一种低暂停时间的垃圾回收器，已成为处理大规模堆内存的理想选择。本文介绍了 ZGC 的基本原理与技术架构，重点分析了其在 JDK11 中的应用与优化策略。通过对 ZGC 性能特点的探索，本文旨在帮助开发者深入理解其在高并发、大数据场景下的表现，以及如何通过合理调优提升系统的内存管理效率和稳定性。
易语言统计网站访问源码-易语言
06-13
本主题中的"易语言统计网站访问源码"是一个利用易语言编写的程序，用于追踪和分析网站的访问情况。下面我们将深入探讨这个话题，讲解相关知识点。 首先，我们需要了解网站访问统计的基本概念。网站访问统计主要包括...
Linux统计接口调用次数
铃萌的博客
02-23 3907
背景：对外提供的接口使用过滤器TraceLogProviderFilter打印了请求相关的日志信息，所以可以根据日志中的关键词TraceLogProviderFilter来统计接口请求次数 日志打印格式 2020-02-23 12:06:49.156 INFO [com.zkh360.service.punchout.filter.TraceLogProviderFilter] [4429...
统计日志文件中的接口请求数量并排序
zengdengjun的专栏
05-13 656
find . -name "*log"|xargs cat|grep '{&quot;bizType&quot;:&quot;'|awk -F '(&quot;bizType&quot;:&quot;)' '{print $2}'|awk -F '(&quot;,&quot;)' '{print $1}'|sort|uniq -c|sort -r
aop统计请求数量_Spring AOP的接口耗时统计
weixin_39974932的博客
12-21 183
Spring AOP的接口耗时统计/*** 通知** @author wwl**/public class ActionAdvice implements MethodInterceptor {private Log log=LogFactory.getLog(ActionAdvice.class);@Overridepublic Object invoke(MethodInvocation in...
通过nginx access.log统计指定接口访问量
wangtingting_100的博客
06-26 4058
背景：查看loginByMobile接口访问量，排查被攻击cat access.log|grep loginByMobile| awk '{print $1}'|sort |uniq -c|more
接口的认证，访问量，频率的统计
zhang1206214477的专栏
03-25 2877
说明：应用中对同一个方法 调用次数和调用时间的限制问题 要求： 用户调用一方法，当第一次开始调用的时候开始计时， 在时间间隔 len 内，time为第几个调用， 每次调用时 time 加1，最多访问次数 num。 len间隔内，调用次数time小于num时，返回 true len间隔内，调用次数time大于num时，返回 false len时间以后，再有调用的就重新计数。
记一次统计用户浏览网站的时长
sinat_35082096的博客
12-29 1070
项目需求：统计用户浏览该网站的时长 初始方案：只需要在根入口的的组件被销毁的时候通过axios请求接口，提交时间给后台，在实际测试的时候发现，请求还没发送过去就被取消，使用axios请求，是异步请求,导致页面卸载时，请求被取消。 解决方案：换成同步事件 <template> <div id="app"> <router-view/> </d...
单接口统计每个用户请求数
迷然
07-11 702
下面的内容主要是个人的理解及对相应理解结果的验证。理解可能有误，验证示例涵盖范围可能不全面。有不同意见，欢迎讨论。 什么是原子性？ 无奈，笔者并没有找到一个明确的、统一的定义，所以只能按照字面的意思进行理解和描述（非定义。笔者在此多说几句，有些事物，我们没办法明确去定义，所以通过归纳其现象描述其性质，以此来代替定义。比如时间的定义，我们没办法去定义什么是时间，但是我们可以说时间是不可逆转的来描述时间应该有的行为或性质）。原子性自然就是原子的性质，而原子的性质就是原子的不可分割性（这里笔者再多说几句，当我
运用切面对某个方法的调用次数进行统计
fengtangjiang的博客
07-06 838
运用切面对某个方法的调用次数进行统计： 开发中，有个统计某个接口的前端调用次数，谁想到用调用次数来反映下载次数，我也是醉了，写完后总结如下： Action类： @Target(ElementType.METHOD) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface Action { String name(); } ApiVisitHistory历史统计类 @Component @Aspect public cl
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值