
线上问题排查
文章平均质量分 57
博主经历的线上问题排查,记录下来,方便举一反三,反思
作手小雨
这个作者很懒,什么都没留下…
展开
-
内存占用较高进程(以及swap用量)shell写法
取出的第一列为进程的id 第二列进程占用swap大小。shell 取出 前10个内存占用高的进程。原创 2024-08-26 17:15:19 · 162 阅读 · 4 评论 -
日志导致的io负载高和cpu飙升问题
性能调优,压测,IO,CPU,Blocked on object monito原创 2023-10-07 14:23:17 · 740 阅读 · 0 评论 -
隐式转换导致慢sql引起的性能问题
d.修复代码屏将这个intervalTimeMills设置为1,此时代码就不会走这个sleep,修复后调用链如下,第三方接口时间确实提升,但是性能确实还是提升不了,继续看调用链和堆栈日志分析。c. 查看源码发现项目组使用的第三方jar包,有这样的代码,在http请求后,在finally里使用了sleep ,大致意思就是 如果调用花费200ms,就需要sleep800ms。取该sql分析,发现因为字符集编码导致隐式转换,不走索引了,取出sql分析。2.表字符集不同,导致出现了隐式转换,索引失效。原创 2023-10-07 14:33:31 · 241 阅读 · 0 评论 -
log4j2漏洞的前世今生
log4j2漏洞的前世今生原创 2022-01-18 15:48:57 · 2648 阅读 · 0 评论 -
docker容器中使用java8并行流遇到的坑(线上)
线上docker容器中使用java8并行流遇到的问题原创 2022-01-18 15:43:52 · 1684 阅读 · 0 评论 -
线上一个索引引起的重大故障
1.问题 项目组接过来的一个老项目,这几天依赖方突然报障,有一个接口一直超时调不通,被用户投诉升级为重大故障。 因为是在我之前就交接过来的而前这个项目就没修改过代码所以对此业务不了解,人最怕自己不熟悉的,悲剧。。。2.解决过程 分析过程: 这时候只能硬着头皮上先解决问题,先看接口的调用链,发现在执行sql的prepareStatment调用链就断了,这时候就初步怀疑是sql问题。 因为本地没代码去仓库拉代码看看这个方法做了什么事,简要的说下这个超时的方法做了什么事...原创 2021-10-13 15:20:48 · 231 阅读 · 0 评论 -
WAF拦截导致接口403问题
1.问题 最近博主刚上线的项目遇到一个问题,新上的某些接口报403错误,而某些接口是ok的,2.解决 拿到这个问题是403 Forbidden没有权限访问此网站。翻译一下就是服务器理解此请求,但是拒绝为此请求服务。 接着博主立马到日志中心,线上容器里捞日志,查无日志。调用链也没任何显示。因为接口在app端出问题,又移动端抓包同样403,也无日志。但是内网的pc端这个接口却是正常的请求返回 这时候博主心里有数了,说明接口没有到达服务,稍微有点思...原创 2021-10-11 19:43:11 · 3301 阅读 · 0 评论 -
避免/null/swagger-resources/死循环,升级swagger2.0到3.0踩坑记录
1.问题 由于安全原因需要屏蔽生产的swagger的页面,是整个页面都屏蔽,而不是屏蔽接口,需要的效果就是访问的时候是404博主按照网上一整搜索,下面列出:1.https://www.cnblogs.com/anakin/p/8569820.html2.https://blog.youkuaiyun.com/wangxy_job/article/details/106669805一顿操作上了生产后出了问题,浏览器窗口一直弹窗,日志一直打印显示swagger死循环,/null/swagger-r...原创 2021-10-11 18:38:10 · 3862 阅读 · 0 评论 -
Linux的vmstat命令
1.安装yum install sysstat2.相关参数-a:显示活跃和非活跃内存;-f:显示从系统启动至今的fork数量;-m:显示slabinfo;-n:只在开始时显示一次各字段名称;-s:显示内存相关统计信息及多种系统活动数量;delay:刷新时间间隔,如果不指定,只显示一条结果;count:刷新次数,如果不指定刷新次数,但指定了刷新时间间隔,这时刷新次数为无穷;-d:显示磁盘相关统计信息;-p:显示指定磁盘分区统计信息;-S:使用指定单位显示,参数有 k 、K 、m 、M原创 2021-06-04 10:58:15 · 232 阅读 · 0 评论 -
Linux的iostat命令
Linux的iostat命令 Linux的iostat命令1.iostat安装yum install systat2.参数说明-c 显示CPU使用情况-d 显示磁盘使用情况-k 以K为单位显示-m 以M为单位显示-N 显示磁盘阵列(LVM) 信息-n 显示NFS使用情况-p 可以报告出每块磁盘的每个分区的使用情况-t 显示终端和CPU的信息-x 显示详细信息3.所有设备负载情况[10263992@zte.intr原创 2021-06-04 10:54:24 · 192 阅读 · 0 评论 -
线上cpu飙升解决方案
1.top定位哪个进程占用cpu最高#查看当前占用资源最多的进程$ top PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 40 root 20 0 4289m 874m 13312 S 123.0 10.9 10:39.73 java PID — 进程id USER — 进程所有者 PR — 进程优先级 NI —原创 2021-06-04 11:15:42 · 347 阅读 · 0 评论 -
mysql临时表空间引发的主机重启
1.问题线上的mysql MGR集群突然有一台实例无法连接,检查发现是因为根目录被撑爆,导致OS重启,mysql服务挂了,进一步发现是因为临时表空间放在了根目录,但是这个临时表空间设置最大 innodb_temp_data_file_path = ibtmp1:10G:autoextend 而这个10G已经超过了这个磁盘目录最大存储。2.MySql临时表空间MySQL在以下几种情况会创建临时表:1、UNION查询;2、用到TEMPTABLE算法或者是UNION查询中的视图;3、ORD原创 2021-07-14 15:35:41 · 212 阅读 · 0 评论 -
线上mongodb集群不可用
1.现象Error in heartbeat (requestId: 564255) to 10.XX.XXX.XXX:27019, response status: HostUnreachable: Error connecting to 10.3.28.205:27019 :: caused by :: No route to host原创 2021-08-02 17:29:47 · 1758 阅读 · 2 评论