在使用pinpoint1.6.0进行调用链监控时，系统因大量spanEvent对象进入永久代导致频繁FGC。通过内存工具检测发现span对象在待发送队列停留时间过长。解决方案包括提升发送线程消费效率、减小待发送队列大小、动态调整采样率，以避免内存占用过高。
故障现象
工作中用到pinpoint实现调用链的采集监控功能，在生产系统上线前进行了压力测试，测试过程中发现系统不停的做FGC导致系统不可用，通过内存工具核查发现大量调用链相关的对象进入了永久代，导致系统频繁的做FGC，下面是故障检测的详细过程及解决方案。
调用链采集逻辑架构
本系统主要采用pinpoint1.6.0版本，但对发送消息这块做了部分改造，调用链数据采集后发送到kafka队列，所以本次故障也可能是改造导致的
最低0.47元/天 解锁文章
扫一扫
评论 3
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
