JVM实战篇:内存调优

本文探讨了Java中内存泄漏的常见场景、监控工具如VisualVM、Arthas和Prometheus+Grafana的作用,深入剖析内存溢出的产生原因,包括代码问题和并发请求,以及如何通过内存分析工具MAT诊断和解决内存泄漏问题。文中还提供了多个实际案例以供参考。

目录

一.内存泄漏

1.1内存泄漏的常见场景

1.2解决内存溢出的思路

二.发现问题

2.1监控工具

VisualVM

Arthas

Prometheus + Grafana

2.2堆内存状况的对比

三.内存溢出的产生原因

①代码中的内存泄漏

equals()和hashCode()未重写导致的内存泄漏

内部类引用外部类

ThreadLocal的使用

通过静态字段保存对象

资源没有正常关闭

②并发请求问题

四.诊断原因

4.1离线诊断:生成内存快照并分析

4.1.1内存快照

4.1.2内存分析工具(MAT)

4.1.3MAT内存泄漏检测的原理

支配树

深堆和浅堆

4.1.4分析超大堆的内存快照

4.2在线定位问题

五.案例分析

案例1 – 分页查询接口的内存溢出

案例2 – Mybatis在使用foreach进行sql拼接时导致的内存溢出

案例3 – 导出大文件内存溢出

案例4 – ThreadLocal使用时占用大量内存

案例5 – 异步业务处理


Java虚拟机进行生产环境线上问题解决以及性能问题的优化。

一.内存泄漏

  • 内存泄漏(memory leak):在Java中如果不再使用一个对象,但是该对象依然在GC ROOT的引用链上,这个对象就不会被垃圾回收器回收,这种情况就称之为内存泄漏。
  • 少量的内存泄漏可以容忍,但是如果发生持续的内存泄漏,就像滚雪球雪球越滚越大,不管有多大的内存迟早会被消耗完,最终导致的结果就是内存溢出但是产生内存溢出并不是只有内存泄漏这一种原因。
  • 内存泄漏绝大多数情况都是由堆内存泄漏引起的,没有特别说明则讨论的都是堆内存泄漏。

1.1内存泄漏的常见场景

  • 内存泄漏导致溢出的常见场景是大型的Java后端应用中,在处理用户的请求之后,没有及时将用户的数据删除。随着用户请求数量越来越多,内存泄漏的对象占满了堆内存最终导致内存溢出。
  • 这种产生的内存溢出会直接导致用户请求无法处理,影响用户的正常使用。重启可以恢复应用使用,但是在运行一段时间之后依然会出现内存溢出。

  • 第二种常见场景是分布式任务调度系统如Elastic-job、Quartz等进行任务调度时,被调度的Java应用在调度任务结束中出现了内存泄漏,最终导致多次调度之后内存溢出。
  • 这种产生的内存溢出会导致应用执行下次的调度任务执行。同样重启可以恢复应用使用,但是在调度执行一段时间之后依然会出现内存溢出。

1.2解决内存溢出的思路

解决内存溢出的步骤总共分为四个步骤,其中前两个步骤是最核心的:

二.发现问题

2.1监控工具

VisualVM

VisualVM是多功能合一的Java故障排除工具并且他是一款可视化工具,整合了 命令行 JDK 工具和轻量级分析功能,功能非常强大。这款软件在Oracle JDK 6~8 中发布,但是在 Oracle JDK 9 之后不在JDK安装目录下需要单独下载。下载地址:VisualVM: Home

  • 优点:功能丰富,实时监控CPU、 内存、线程等详细信息
  • 缺点:
    • 适用于开发、测试环境,不适用于生产环境,VisualVM部分功能会停止所有的线程,这会影响到用户的使用
    • 对大量集群化部署的Java进程需要手动进行管理

Arthas

Arthas 是一款线上监控诊断产品,通过全局视角实时查看应用 load、内存、gc、线程的状态信息,并能在不修改应用代码的情况下,对业务问题进行诊断, 包括查看方法调用的出入参、异常,监测方法执行耗时,类加载信息等,大大提升线上问题排查效率。arthas (aliyun.com)

优点:

  • 功能强大,不止于监控基础的信息,还能监控单个方法的执行耗时等细节内容。
  • 支持应用的集群管理,使用阿里arthas tunnel可以管理所有的需要监控的程序
  • 开发人员可以在线解决生产问题。无需 JVM 重启,无需代码更改。 Arthas 作为观察者永远不会暂停正在运行的线程。

Prometheus + Grafana

Prometheus+Grafana是企业中运维常用的监控方案,其中Prometheus用来采集系统或者应用的相关数据,同时具备告警功能。Grafana可以将Prometheus采集到的数据以可视化的方式进行展示。

优点:

  • 支持系统级别和应用级别的监控,比如linux操作系统、Redis、MySQL、Java进程
  • 支持告警并允许自定义告警指标,通过邮件、短信等方式尽早通知相关人员进行处理

2.2堆内存状况的对比

三.内存溢出的产生原因

①代码中的内存泄漏

实际上,代码中的内存泄漏大部分能在测试环境上被排除。在测试环境上采用压力测试,发送大量的请求到服务端测试。

equals()和hashCode()未重写导致的内存泄漏

问题:在定义新类时没有重写正确的equals()和hashCode()方法。在使用HashMap的场景下,如果使用这个类对象作为key,HashMap在判断key是否已经存在时会使用这些方法,如果重写方式不正确,会导致相同的数据被保存多份。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值