线上接口处理突然超时

运维——记一次接口超时的问题与解决方法(HttpException: Read timed out) 近期,一个线上的项目,请求出现了大量接口超时的问题,找了几个小时原因,最终发现是因为。 阅读详情

正常系统接口响应正常,但是突然接口大量超时;通过系统之间的调度情况  并没有发现其他提供接口的服务出现响应慢的情况

一般这个时候要查看jvm gc日志

一般启动的时候需要加命令

-XX:+PrintGCDetails
输出GC的详细日志

-XX:+PrintGCDateStamps
输出GC的日期戳

-Xloggc:/var/log/hbase/gc-.log
GC日志输出的路径

-XX:+UseGCLogFileRotation
打开GC日志滚动记录功能

-XX:NumberOfGCLogFiles
设置滚动日志文件的个数,必须大于等于1
日志文件命名策略是,.0, .1, …, .n-1,其中n是该参数的值

-XX:GCLogFileSize
The size of the log file at which point the log will be rotated, must be >= 8K.
设置滚动日志文件的大小,必须大于8k
当前写日志文件大小超过该参数值时,日志将写入下一个文件

其他有用参数

-XX:+PrintGCApplicationStoppedTime
打印GC造成应用暂停的时间

-XX:+PrintHeapAtGC
在进行GC的前后打印出堆的信息

-XX:+PrintTenuringDistribution
在每次新生代 young GC时,输出幸存区中对象的年龄分布

oom的时候生成dump文件

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=目录

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=目录/xxx.hprof

也可以使用skywalking
 

线上遇到慢接口的解决方案 这个时候可以采用APM工具快速定位,常见的工具:skywalking、pinpoint,cat、zipkin假如我们应用没有接入APM,可以在生产环境装一下阿里的A.rthas,利用trace接口方法,大概能分析是哪一块比较慢,定位的力度稍微有点粗糙。. 循环调用改为单次调用(比如查数据库或查其他rpc或restful接口,能批量调用尽量批量调用,数据在内存组装处理).同步调用改为异步调用(采用completableFuture异步非阻塞,并行调用不同的rpc接口)我这里给大家分享以下。 阅读详情

相关推荐

Hi3559AV100制作ext4文件系统和烧录emmc

1、首先生成所需文件系统,见本博客<Hi3559AV100文件系统制作cramfs>。 2、使用工具生成EXT4文件系统 ./make_ext4fs -s -l 96M rootfs_hi3559av100.ext4 ./rootfs 3、烧录文件系统 mw.b 0x82000000 ff 0x12C00000;tftp 0x82000000 STM_...

阿Sir问道 7034

这个超时问题花了我两周才解决!

点击上方蓝色“石杉的架构笔记”,选择“设为星标” 回复“PDF”获取独家整理的学习资料! 长按扫描上方免费领取我们常说面试造火箭,很多人对此提出质疑,相信大家看了这篇文章会明白面试造火箭...

石杉的架构笔记 702

一文看懂分布式存储架构

目录一、集中存储结构二、分布式存储1 、分布式存储的兴起2 、分布式存储的重要性3 、分布式存储的种类和比较三、分布式理论浅析1 、一致性和可用性2 、数据分布3 、复制4 、分布式协议5、跨机房部署四、分布式文件系统1、 Google 文件系统( GFS )2、 Taobao 文件系统( TFS )3、 Fackbook Haystack 文件系统4、 CDN 内容分发网络五、分布式键值系统1、 Amazon Dynamo2、 Taobao Tiar3、 ETCD4 、产品选型比较( Etcd , Zoo

weixin_70730532的博客 2万+

调用接口超时处理方案

调用接口超时 处理方案大型项目存在多个子系统。如库存,订单系统。1.增加超时时间假设A系统有个方法methodA,会调用B系统的methodB这个http接口,如果mehodA不追求超快的响应速度,那么你在调用methodB这个http接口时,可以增长超时时间,例如10秒超时。因为经常在某些时刻,由于网络原因或者系统原因,调用method会超时的。2.尝试多调用一次如果第一次调用methodB超时了

windy博客 4万+

【SystemVerilog笔记(一)】数据类型

(一)内建数据类型 1.按照四值逻辑和二值逻辑分类 四值逻辑类型:integer、logic、reg、wire等线网类型 二值逻辑类型:byte、shortint、int、longint、bit 2.按照有符号和无符号分类 有符号类型:byte、shortint、int、longint、integer 无符号类型:bit、logic、reg、wire等线网类型 ※记忆:按位定义的变量是无符号的。 (二)软件常用类型 1.定宽数组 在这里插入代码片 ...

cc__cc__的博客 1万+

SAP HR模块配置假期日历和缺勤类型

SAP的HR模块。业务顾问在实施时一般会配置未来10年的假期日历,到期后再进行配置。同时,增加请假类型(缺勤信息类型)。记录这一过程。

福来阁86号技师的妖孽日常 5525

【干货篇】调用其他系统http接口超时了,如何处理,方案汇总

如果你参加过互联网项目,那么你一定知道,整个大的系统会被切成许多的子系统。子系统与子系统通过接口交互。其中,通过http接口交互,是非常常用的一种方式。那么如果调用某个子系统的http接口超时了,该如何处理呢?下面列举一下。增加超时时间假设A系统有个方法methodA,会调用B系统的methodB这个http接口,如果mehodA不追求超快的响应速度,那么你在调用methodB这个http接口时,可

Sam_Deep_Thinking 2万+

VCS2018在Ubuntu20 18安装步骤

之前在Ubuntu20上下VCS,花了好几天时间,本来想写博客避免以后重复劳动。但由于各种原因拖了一两个月,这次由于疫情原因,期末考试推迟,所以就再次在Ubuntu18上下了VCS,顺便写博客记录。 以下VCS2018安装方法适用于 Ubuntu20、Ubuntu18,亲测可用。其他Linux发行版没试过,但应该步骤差不多。 文章目录安装包安装步骤1、建立安装路径,更改权限2、运行安装器进行安装3、生成License文件4、设置环境变量5、验证License6、启动lmgrd验证软件是否安装成功dvever

s-stone的博客 3万+

restful api接口规范_API 接口设计规范

概述这篇文章分享 API 接口设计规范,目的是提供给研发人员做参考。规范是死的,人是活的,希望自己定的规范,不要被打脸。路由命名规范请求方式请求参数Queryurl?后面的参数,存放请求接口的参数数据。Header请求头,存放公共参数、requestId、token、加密字段等。BodyBody 体,存放请求接口的参数数据。公共参数APP 端请求WEB 端请求调用方需向服务方申请 appKey(请...

weixin_39900676的博客 598

HLA分型

HLA分型 一、根据WES的tumor数据进行数据分型 选用hlahd 软件安装及使用 [root@18605fd8771e ~]# wget https://jaist.dl.sourceforge.net/project/bowtie-bio/bowtie2/2.4.1/bowtie2-2.4.1-linux-x86_64.zip [root@18605fd8771e ~]# unzip bowtie2-2.4.1-linux-x86_64.zip && mv bowtie2-2.4.1

qq_23435961的博客 2489

最小二乘(MLS)求点云法向量

MLS算法的基本思想是通过在点云的局部邻域内拟合一个光滑曲面,如平面或多项式曲面,以此来重建和处理点云数据。对于法向量估计,MLS通常在每个点的邻域内拟合局部平面,然后从该平面的法向量作为点的法向量。

twnkie的博客 744

线上Fegin超时问题排查

在这里就能看到默认的readTimout值了。如果第一个批次因为fegin调用超时,上游服务就会拿到接口请求结果,继续下一个请求这个时候因为第一个请求还未释放锁,后续的请求都会失败,在网上看了一下fegin和ribbon的默认超时时间有说1s的有说10s的有说60s的,因此自己通过源码查一下究竟是多少。作为spring全家桶的ribbon和feign极大程度的依赖了spring因为之前并没有系统的学习过spring源码,有些地方比较跳脱,文章质量不是很好,但是写了好久还是厚脸皮发出来了。

UchihaZed的博客 697

OpenCV实现物体尺寸的测量

物体尺寸测量的思路是找一个确定尺寸的物体作为参照物,根据已知的计算未知物体尺寸。如下图所示,绿色的板子尺寸为220*300(单位:毫米),通过程序计算白色纸片的长度。

qq_53545309的博客 9158

php-fpm 超时,小心 php fpm 的超时

一次线上问题,让我意识到,fpm 居然是用这种方式处理超时的,虽然有点震惊,但是想想,这才是我大 PHP 处理问题的方式,简单粗暴而且高效。问题的现象是这样的,某个接口访问量大增,然后接口大量502,接着 fpm 的机器cpu暴涨,最后gg。fpm 处理超时的方式非常简单,那就是,直接退出 worker 子进程。对于超时的处理,fpm 的代码里是这样写的的(我隐去了细节,有兴趣的可以去 PHP 官...

weixin_33477210的博客 405

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

深入排查线上接口超时问题:Skywalking链路追踪揭示的真相

排查线上接口超时问题,当使用Skywalking 链路追踪分析慢接口慢在哪一步时,发现写的是springmvc耗时十秒多,感觉很纳闷,springmvc也没多少处理逻辑,怎么会耗时这么久呢? 经过排查日志,发现有一个方法执行前后的日志打印时间相差十秒左右,刚好和skywalking 显示的springmvc耗时十秒吻合。这个方法的逻辑是将第三方传过来的图片地址做本地化转换,涉及到源图片的下载和上传到公司图片服务两步操作,这可以看成是两次网络请求,速度的快慢取决于图片大小和网络环境。 至此,找出了接口耗时的元

ibigboy 2838

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

[JVM]一次线上频繁GC的问题解决

起因:周末测试发现线上mq消息积压了十几万的消息,如下图所示 每个队列几万的消息,立即采取紧急措施,将队列下线重新上线。 处理积压消息的量,调用量起来了,很快消息积压解决了。开始事件复盘。 首先分析是否是消息消费能力跟不上消息产生原因,看入口消息,QPS是29.6 消息消费QPS如下 事后开始分析原因,发现队列积压有如下异常: 超时时间设置的很长,大致分析出...

weixin_34268310的博客 740

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

阿里面试原题:如何排查定位线上问题?

不知道你们经历过这种问题没有,比如问你遇到过线上性能问题没有,GC频繁,CPU飙高,任务队列积压,线程池任务拒绝等等,对于看重项目经验的面试官,这种问题基本是标配,问线上问题处理的经过,问...

weixin_41385912的博客 498

记一次线上TransactionTimedOutException问题排查

记一次线上TransactionTimedOutException问题排查

qq_40344505的博客 3687

OOM(一):线上排查及解决流程

20191105中午12点左右线上报警。 通过gtrace,发现接口响应超时: 通过gtrace查看方法调用链:发现内存溢出。 于是迅速切到普罗米修斯监控: 发现服务从12点01分到04分之间不可用,但之后,在不重启服务的情况下,对外正常提供服务。并且各项指标正常。得出结论,不是堆内存泄露,而是堆内存溢出。 接下来就顺理成章的需要...

scofen的博客 1912

面试常问集锦——线上排查部分

实操 线上故障如何快速排查?来看这套技巧大全 https://mp.weixin.qq.com/s/PWNnq07cPYB4o421VFEFHw JAVA线上故障排查全家桶 https://mp.weixin.qq.com/s/UTGtusIyScJGOjdZPdU4Ug cpu飚高怎么处理 CPU占用100%排查过程 - 云+社区 - 腾讯云 (1)top 通过top命令找到,找到最耗CPU的进行PID,从下图种可以发现PID为 15913 不断按P可以按照CPU使用率进行排序 (2

阳阳的博客 2981

Python 请求 HX_HSI 恒指日线 K 线 完整请求与时序数据处理

本文介绍如何使用Python的requests库获取恒生指数(HX_HSI)日线数据。通过配置接口参数(code=HX_HSI, time=1d, rows=300)请求K线数据,包含异常处理和返回数据解析。返回数据为二维数组,包含时间戳、开盘价、最高价、最低价、收盘价、日期和成交量。示例代码演示了数据获取和基本处理流程,建议将数据转为pandas DataFrame用于技术指标计算,并注意处理港股节假日无数据的情况。该方案适用于本地量化回测和离线行情分析。

2509_93909211的博客 223

线上问题处理案例:出乎意料的数据库连接池 | 京东云技术团队

本文是线上问题处理案例系列之一,旨在通过真实案例向读者介绍发现问题、定位问题、解决问题的方法。本文讲述了从垃圾回收耗时过长的表象,逐步定位到数据库连接池保活问题的全过程,并对其中用到的一些知识点进行了总结。

JDDTechTalk的博客 805

线上MQ消息积压了怎么处理

本文拆解线上MQ消息积压完整落地方案,遵循先止损、再排查、后预防核心原则,优先保障核心业务可用。分享扩容消费端、业务降级、消息转储等紧急止损手段,定位全场景积压根因。核心技术亮点含虚拟线程并发、批量消费、Redis幂等设计、异步批量落库,附带面试高频考点与实战避坑方案,高并发场景实用性极强。

xiaokjv的博客 332

基于FPGA的万兆以太网接口的设计与实现:云计算时代的通信新篇章

基于FPGA的万兆以太网接口的设计与实现:云计算时代的通信新篇章 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 随着云计算和大数据处理的快速发展,对通信网络性能的要求也日益提高。基于此背景,本项目详细介绍了一种基于FPGA的万兆以太网接口设计与实现。项目充分利用了FPGA的并行处理能力,提出了一种高效、可靠的通信系统解决方案。 项目技术分析 FPGA的优势 FPGA(...

gitblog_06759的博客 949

EMIFA接口与NAND Flash交互机制及异步访问优化实践

外部存储器接口(EMIFA)是嵌入式系统中连接处理器与外部存储设备的关键控制器,其核心原理在于通过状态机、时序控制和协议处理,实现高效可靠的数据交换。在异步存储器访问中,EMIFA通过状态寄存器轮询、硬件中断通知及扩展等待模式等技术,解决了设备响应延迟与CPU资源占用的矛盾,提升了系统并发性与能效比。这些机制在NAND Flash等非易失性存储设备的读写操作中尤为重要,能够有效管理其命令驱动的异步访问特性。通过合理配置等待超时、中断使能及电源管理策略,工程师可以在满足严格时序要求的同时,优化系统功耗与实时性

weixin_31815843的博客 308

线上问题处理案例:出乎意料的数据库连接池

本文是《线上问题处理案例》系列之一,该系列旨在通过真实案例向读者介绍发现问题、定位问题、解决问题的方法。本文讲述了从垃圾回收耗时过长的表象,逐步定位到数据库连接池保活问题的全过程,并对其中用到的一些知识点进行了总结。一、问题描述大促期间,某接口超时次数增多,经排查直接原因是GC耗时过长,查看监控FullGC达500ms以上,接口超时时间与FullGC发生时间吻合。二、应用基本情况容器:8C12G;...

京东科技开发者 199
上一篇: redis常见问题
下一篇: 消费消息顺序性问题
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值