一次由于八股文引起的内存泄漏

C/C++面试八股文汇总 以对象管理资源,利用的就是C++构造的对象最终会被对象的析构函数销毁的原则。上述的的申请、使用、释放资源的程序较为简单,但是如果程序很复杂的时候,需要为所有的new 分配的内存delete掉,导致极度臃肿,效率下降,更可怕的是,程序的可理解性和可维护性明显降低了,当操作增多时,处理资源释放的代码就会越来越多,越来越乱。栈在函数调用时,第一个进栈的是主函数中后的下一条指令(函数调用语句的下一条可执行语句)的地址,然后是函数的各个参数,在大多数的C编译器中,参数是由右往左入栈的,然后是函数中的局部变量。 阅读详情

本文记录两次报错系统监控现象以及作者针对性的排查过程和分析,最终解决了问题的全过程。

文章开头,先分享一张大部分Java开发同学都记在心里的一张图。

图片

没错,就是Spring Bean生命周期图。就因为这张图不熟悉,导致线上环境出现内存泄漏问题,系统频繁FullGC,服务无法响应。

一、第一次报错系统监控现象

图片

图片

关键时间节点:

14:16 机器发布新代码

15:35 机器开始出现fullGC

15:50 机器fullGC耗时上升

17:48 对JVM进行dump操作,然后进行机器置换

由图可知,在14:16发布完成后,系统正常运行了一段时间,期间内存、线程等均未出现异常,不过当系统运行了一段时间后,通过监控可以明显发现内存使用量和线程数都在持续上升,那这样问题就很明确了:

1.有大量阻塞线程

2.存在内存泄露问题

1.1 排查过程

分析线程Dump文件

图片

Dump文件记录

通过截图中Dump文件内容可知,HSFBizProcessor-DEFAULT-9-thread-792 这个线程已经阻塞了116s,并且的阻塞线程共有682个。

1.2 分析原因

根据线程堆栈信息,查到了线程是阻塞在下面这段代码:

@Componentpublic class OssClient implements BeanPostProcessor {private OSS ossClient = null;/**      * 初始化OSS客户端     **/@Overridepublic Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {// 省略代码……// 以下是阻塞代码行        ossClient = new OSSClientBuilder().build(ossProperty.getString("endpoint"),                        ossProperty.getString("accessKeyId"),                        ossProperty.getString("accessKeySecret"),                        configuration);// 省略代码……return bean;    }}

这段代码本意是在应用启动时,通过动态配置文件来配置OSS客户端。

但是线程阻塞在了这行,首先我想到可能是由于OSS客户端初始化需要发起网络请求,因为饿了么有张北和南通机房且一般情况下跨机房无法访问,所以第一时间检查了一下配置,果不其然,南通机房配置了张北的OSS。

登录上南通机房的机器,尝试PING张北的OSS域名,发现无法PING通,验证了我的猜测。

图片

1.3 第一次问题解决

Get到了报错原因,就方便解决了;通过修改配置,将OSS机房配置正确后,重启机器即可。

二、第二次报错系统监控现象

本来以为万事大吉,在观察了30分钟,确认系统无BLOCKED线程后,就认为该问题已经解决。

图片

图片

关键时间节点:

19:48 机器发布新代码

22:30 机器开始出现fullGC

23:30 机器fullGC耗时上升

00:30 对JVM进行dump操作,然后进行机器置换

然而,在发布后3个小时以后,系统又开始报错,同样是fullGC,只不过这次fullGC耗时没有之前那么长了。

2.1 排查过程

分析线程Dump文件

因为有了前车之鉴,所以第一步想到的就是上一步的问题没有解决,线程仍然阻塞在刚才的代码处。

图片

不过,这次并没有查询到阻塞线程。这至少证明:

1.阻塞线程确实是由于OSS跨单元拒绝访问导致的

2.还有其他问题导致了内存泄漏

分析GC Dump文件

首先,通过集团Grace工具,发现有严重的内存泄漏问题。

图片

这里显示有11万个org.apache.http.impl.conn.PoolingHttpClientConnectionManager实例,占用了80.42%的堆内存,但是这个类并不是我直接引入的,那么一定是有间接依赖,生成了大量该类对象。

另外,通过类名,能判断这个对象是和网络请求有关系,而我这个应用上需要网络请求的地方有几处:

1.访问DB

2.访问Redis

3.访问OSS

4.进行HSF调用

继续通过对对象依赖进行分析,发现了一个重要信息:

图片

org.apache.http.impl.conn.PoolingHttpClientConnectionManager这个类由OSS间接依赖进来的,确定了引起内存泄漏的罪魁祸首。

2.2 分析原因

虽然定位到了是由于OSS建议依赖进来,但是看代码仍然不能解释为什么会产生内存泄漏。

@Componentpublic class OssClient implements BeanPostProcessor {private OSS ossClient = null;/**      * 初始化OSS客户端     **/@Overridepublic Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {// 省略代码……// 一下是阻塞代码行        ossClient = new OSSClientBuilder().build(ossProperty.getString("endpoint"),                        ossProperty.getString("accessKeyId"),                        ossProperty.getString("accessKeySecret"),                        configuration);// 省略代码……return bean;    }}

排查原因过程中,有一篇文章给了我答案,下面是这篇文章给的OOM原因的解释:

每次new OSSClient的时候,都会往List中放入HttpClientConnectionManager,但是没有主动调用OSSClient的shutdown的方法,所以List只会增大不会变小。反观我们的代码,每次接口调用都会创建一个OSSClient对象,但却在使用完之后,没有调用OSSClient的shutdown方法,导致未调用IdleConnectionReaper的removeConnectionManager方法,使得IdleConnectionReaper中静态列表存储的PoolingHttpClientConnectionManager实例数据一直会增长,一直都不会被回收,最终带来的结果就是OOM。

其实通过代码能够看出,我的初衷是在OssClient这个Bean初始化的时候执行一下初始化逻辑,在我查到导致内存泄漏的原因后,我仍然对一个问题很是不解:为什么OSS初始化的代码会被多次执行?

回到文章标题和开头,为什么这篇文章标题叫“一次由于八股文引起的内存泄漏”,以及为什么文章开头会引入下面这张图?

图片

实际上,是由于实现错了接口导致的OSS初始化代码被重复调用,最终导致系统OOM。

2.3 最终问题解决

改变一下实现接口,使代码逻辑符合我预期效果即可,当然这个解决方式有多种多样,下面只是我的一种解决方案。​​​​​​​

@Component
public class OssClient implements InitializingBean {

    private OSS ossClient = null;

    /** 
     * 初始化OSS客户端
     **/
    @Override
    public void afterPropertiesSet() throws Exception {
        // 省略代码……
        // 以下是阻塞代码行
        ossClient = new OSSClientBuilder().build(ossProperty.getString("endpoint"),
                        ossProperty.getString("accessKeyId"),
                        ossProperty.getString("accessKeySecret"),
                        configuration);
        // 省略代码……
    }

}

总结

圈内常有声音抱怨,“面试好比是造火箭,而工作不过是拧螺丝”,尤其对于Java开发岗位面试中的常规知识题目持有轻蔑态度。然而,这些被称作“八股文”的知识,实际上是每位开发工程师技术根基的核心。坚实的基础才能确保构建在其之上的高楼大厦能够屹立不倒,历经岁月的洗礼。

最新2023整理Java面试八股文,大厂必备神器 那么,为什么在计算机技术相关岗位面试中,存在“八股文”内容的测评呢?国内的互联网面试,恐怕是现存的、最接近科举考试的制度。我国的八股文确实是独树一帜。以美国为例,北美工程师面试比较重视算法(Coding),近几年也会加入Design轮(系统设计和面向对象设计OOD)和BQ轮(Behavioral question,作为面试问题)。 阅读详情

相关推荐

TMS320F280049C 学习笔记4 Led_ex1_blinky 初始化函数及系统时钟

承接上一篇学习笔记,这次开始实际运行例程。本文概述了280049C的第一个实验 Led灯闪烁。同时也总结了系统的初始化函数和时钟配置。

whyorwhnt的专栏 7035

美团-Spring Boot引起的“堆外内存泄漏”排查及经验总结

来自美团技术分享-Spring Boot引起的“堆外内存泄漏”排查及经验总结

xing_S的博客 1441

QComboBox设置最大显示数量多余的用滑动条,以及QComboBox::setMaxVisibleItems()不起作用的问题

QComoboBox是Qt封装的一个选择框的东西,但是我在使用过程中有一点感觉很不好,如图: 不论你往里面添加多少个它都会给你显示全部,甚至给你铺满全屏,后来看了官方文档发现有个setMaxVisibleItems()的方法,我欣喜若狂啊,终于特么的能解决了,但是,很遗憾,不知为啥,我设置上之后并没有起作用,依然会显示全部,后来搜了百度发现有个人是这样解决的 QComboBox *box = ne...

Aboveground的博客 4920

八股文——内存管理(内存满了,会发生什么)

搬运自“小林coding”,操作系统精华版八股文

清风微浪又何妨的博客 577

基于qiime2的16S数据分析全流程:从导入数据到下游分析一条龙

基于qiime2的16s测序数据分析分析激活qiime环境我已经把上面这句代码放在了.bashrc里面,因此激活qiime2环境只需要运行activate_qiime即可/bin/bash# 设置目录路径# 输出表头 echo -e "sample-id\tforward-absolute-filepath\treverse-absolute-filepath"# 遍历_R1和_R2文件do # 检查R1文件是否存在then# 获取样本ID(去掉_R1.fastq.gz)

2301_76771985的博客 5528

避开这5个坑!Tushare数据获取与清洗的常见问题解决方案

本文详细解析了使用Tushare进行金融数据分析时常见的5大问题,包括Token失效、数据缺失、频率限制等,并提供了Python实战解决方案。通过智能填充策略、队列化管理和分层存储设计,帮助开发者高效获取和清洗金融数据,提升量化分析效率。特别适合金融数据分析师和Python开发者参考。

f9g0h的博客 426

Spring Boot 引起的“堆外内存泄漏”排查及经验总结

MCC扫包的默认配置是扫描所有的JAR包。在扫描包的时候,Spring Boot不会主动去释放堆外内存,导致在扫描阶段,堆外内存占用量一直持续飙升。当发生GC的时候,Spring Boot依赖于finalize机制去释放了堆外内存;但是glibc为了性能考虑,并没有真正把内存归返到操作系统,而是留下来放入内存池了,导致应用层以为发生了“内存泄漏”。所以修改MCC的配置路径为特定的JAR包,问题解决。...

琅枫的博客 2377

Android实现自动输入文本效果 (附完整源码)

Android实现自动输入文本效果 (附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 417

JVM内存泄漏问题分析处理实战

反观我们的代码,每次接口调用都会创建一个OSSClient对象,但却在使用完之后,没有调用OSSClient的shutdown方法,导致未调用IdleConnectionReaper的removeConnectionManager方法,使得IdleConnectionReaper中静态列表存储的PoolingHttpClientConnectionManager实例数据一直会增长,一直都不会被回收,最终带来的结果就是OOM。然而,这些被称作“八股文”的知识,实际上是每位开发工程师技术根基的核心。

lujiawei00的专栏 1983

【Python机器学习】决策树与随机森林:解释性与鲁棒性的平衡

本文深入探讨了决策树和随机森林在解释性与鲁棒性之间的权衡。决策树以其完美的可解释性、快速的推理速度和无需特征标准化等优势,在许多场景中仍然是首选算法。一个经过合理剪枝的决策树,其每个决策路径都可以转化为业务规则,这在金融风控、医疗诊断等对透明度有严格要求的领域无可替代。然而,单棵决策树的高方差和容易过拟合的特性限制了其泛化能力。随机森林通过集成学习的思想,巧妙地解决了这个矛盾。它维持了相对较好的解释性(通过特征重要性、OOB估计等方式),同时通过多棵树的投票或平均,大幅降低了模型的方差。

nmdbbzcl的博客 629

Ubuntu22.04安装ros(一键搞定)

然后发现可以一键安装,话不多说,直接终端输入如下指令。回车之后系统会自动安装ros。

m0_47313541的博客 7416

解释Spring Boot中内存泄漏的原因。

内存泄漏(Memory Leak)是指程序在申请内存后,无法释放已分配的内存空间,导致内存使用量不断增加,最终可能耗尽系统资源,影响程序性能甚至导致程序崩溃。同时,对于Spring Boot应用来说,遵循良好的编程实践,比如合理管理对象的生命周期,使用合适的缓存策略,以及正确处理资源释放等,都是非常重要的。例如,堆大小设置不合理,可能导致频繁的垃圾回收,影响应用性能;:未能正确关闭数据库连接,尤其是当应用程序使用了连接池时,如果连接未被正确释放回连接池,可能会导致连接池耗尽,进而引发内存问题。

Pmyx_wyh的博客 465

智能工厂评估模型研究

摘要:通过对国内外现有智能制造评估模型的研究,结合重庆制造业行业领跑者与落后者之间差距大的现状,以实现全要素全连接的数字化工厂为出发点,融合工业互联网标识,构建实践可行的智能工厂评估模型推动中小型企业参与智能制造转型,缓和两极分化问题。本评估模型包含工厂体系架构的3个层级,提供用于推动智能制造转型的参考,包括设计、生产、管理的全过程评估。关键词:智能制造评估模型;智能制造转型;全连接工厂;工业互联网标识0 引言受行业需求与技术创新的影响,全球制造业在历经了工业1.0机械化、工业2.0电气化和工业3.0自动

罗伯特技术屋 679

Java八股文之JVM部分(内存溢出异常问题)

2.单例模式导致内存泄漏,因为单例模式的静态特性,它的生命周期和JVM生命周期一样长,如果单例对象持有外部对象引用的话,他也不会被回收。指程序中动态分配给内存一些临时对象,并且这些对象始终没有被回收,一直占用着内存。1.静态集合类引起内存泄漏,因为静态集合类的生命周期和JVM一致,所以静态集合类引用的对象不能被释放。当线程所请求的栈深度超过虚拟机允许的最大深度时,有可能发送栈溢出,比如调用递归方法时。4.数据库连接,网络连接等各种连接没有显示释放也会导致内存泄漏。1.加载的数据量过大,内存不够用了。

m0_55264498的博客 234

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

前端面试八股文

前端面试题,javaScript八股文:数据类型、原型、原型链、作用域、作用域链、Promise...

m0_46322755的博客 2297

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

CC++八股文之内存泄漏

文章摘要:C/C++内存泄漏问题分析与定位 本文系统分析了C/C++程序中的内存泄漏问题。首先明确定义了内存泄漏的本质是"生命周期失配",即程序申请内存后失去释放控制权。文章详细划分了可能发生泄漏的内存区域(堆、文件映射段)和不会泄漏的区域(栈、只读段等)。通过三个阶段阐述了泄漏的危害:从进程内存缓慢增长到系统OOM崩溃。

梅花香自苦寒来,宝剑锋从磨砺出。 1250

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

为什么面试都喜欢考八股文?C++八股文又是什么?

C++八股文是技术面试的「入门砖」,更是开发者技术深度的「试金石」。掌握八股文的核心知识点是职业发展的基石,但更需注重「理论→实践」的转化能力——将虚函数表的原理用于优化动态多态的性能,用RAII原则解决资源泄漏问题。未来,八股文或许会逐渐淡化,但对基础能力的考察将始终是技术面试的核心。📦 硬核资料赠送关注私信>>「C++王者」获取以下资源:《C++后端开发高频八股文》涵盖23个核心考点,助你轻松应对面试!《C/C++工程师能力自测清单》50+项技能树Checklist,快速定位技术短板!

C语言实战大全 1919

最新2025整理Java面试八股文,大厂必备神器

八股文是明清科举考试中的一种固定格式文体,内容必须取自四书五经,且需用古人语气,不允许自由发挥。文章由破题、承题、起讲、入题、起股、中股、后股、束股八部分组成,后四部分每部分有两股排比对偶的文字,合称八股。这种文体强调格式和内容的严格规范,反映了古代科举考试的特点。

2401_89221445的博客 2650

最新整理Java面试八股文,大厂必备神器

八股文就是指文章的八个部分,文体有固定格式:由破题、承题、起讲、入题、起股、中股、后股、束股八部分组成,题目一律出自四书五经中的原文。八股文章就四书五经取题,内容必须用古人的语气,绝对不允许自由发挥,而句子的长短、字的繁简、声调高低等也都要相对成文,字数也有限制。旧时科举,八股文要用孔子、孟子的口气说话,四副对子平仄对仗,不能用风花雪月的典故亵渎圣人,每篇文章包括从起股到束股四个部分。即行为面试问题,常考的问题诸如“你为什么从上一家公司离职”、“你在之前的工作中做过的最有成就感的事情是什么?

BASK2311的博客 2373

ThreadLocal 内存泄漏真相:你可能被“八股文”骗了!

ThreadLocal内存泄漏的真相并非完全如八股文所述。当ThreadLocal声明为static final全局变量时,即使不remove也基本不会泄漏,因为每次set操作会覆盖旧值。真正的泄漏风险出现在将ThreadLocal作为局部变量且不remove时,此时key会被GC回收但value仍驻留内存。最佳实践是:对于长期使用的ThreadLocal声明为static final,临时变量则务必及时remove。JVM通过弱引用机制已尽量降低泄漏风险,合理使用ThreadLocal并不会造成严重问题。

qq_60254005的博客 273

前端面试【 八股文篇】

BFC 本质就是单独开启一个独立的布局空间,让内部子元素不受外部元素布局影响,也不让外部元素影响内部子元素;如何触发:设置元素overflow为visible以外的值;设置flextable-cell等布局;设置static和relative以外的值;设置浮动float解决了元素与元素之前的外边距重叠问题重绘(Repaint):当元素的外观样式发生改变,但不影响其布局时,浏览器会执行重绘操作。重绘只涉及对元素的可见样式进行重新绘制,不涉及元素的位置和尺寸计算。

@木尘的小博客 1319
上一篇: 推荐 3 个今日 火火火火 的开源项目
下一篇: 谷歌斥资100万美元,消除C++内存安全问题,C++与Rust可以“互操作”
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值