线上OOM了，怎么排查？

最新推荐文章于 2025-04-27 22:44:32 发布

东方巴黎～Sunsiny

最新推荐文章于 2025-04-27 22:44:32 发布

阅读量744

点赞数 23

分类专栏： JVM 文章标签： java jvm

本文链接：https://blog.youkuaiyun.com/weixin_44372802/article/details/146198177

版权

JVM 专栏收录该内容

3 篇文章

订阅专栏

OOM是什么？

OOM（Out of Memory，内存溢出）是指计算机程序在运行时请求的内存超出了系统可用内存或程序配置的最大内存限制，导致程序无法继续分配内存，从而引发错误。OOM 通常会导致程序崩溃或无法正常运行。

OOM 的基本概念

内存管理：计算机程序在运行时需要使用内存来存储数据和执行代码。内存的管理通常由操作系统和编程语言的运行时环境（如 JVM）负责。
内存分配：当程序需要更多内存时，它会向操作系统请求分配内存。如果操作系统无法满足该请求（例如，内存已用尽或超出配置限制），则会发生 OOM。
错误类型：在 Java 中，OOM 通常会抛出 java.lang.OutOfMemoryError 异常，表示内存不足。不同的 OOM 类型包括：
Java heap space：表示 Java 堆内存不足。
GC overhead limit exceeded：表示垃圾回收占用过多时间但回收的内存很少。
PermGen space（Java 8 之前）或 Metaspace（Java 8 及之后）：表示方法区或元空间不足。
Unable to create new native thread：表示无法创建新的本地线程。

为什么会出现OOM？

1. 内存泄漏

未释放的对象：程序中持有对不再使用的对象的引用，导致这些对象无法被垃圾回收器回收，从而占用内存。
静态集合：使用静态集合（如 List、Map 等）存储对象，且未及时清理，随着时间推移，集合中的对象不断增加。

2. 大对象分配

大数组或集合：尝试分配过大的数组或集合，超出了 JVM 的堆内存限制。
文件处理：处理大文件时，尝试将整个文件加载到内存中，而不是逐行或逐块处理。

3. 不合理的内存配置

JVM 堆大小设置不当：JVM 的堆内存设置过小，无法满足应用的内存需求。
栈内存溢出：在递归调用或深层次调用中，栈内存不足，导致 OOM。

4. 频繁的对象创建

高频率的对象创建：在高并发场景下，频繁创建和销毁对象，导致内存使用迅速增加。
不必要的对象复制：在处理数据时，频繁复制对象而不是引用，增加内存占用。

5. 资源未释放

未关闭的资源：未关闭的数据库连接、文件流、网络连接等，导致内存和其他资源未被释放。
线程未结束：创建的线程未被正确管理，导致内存占用增加。

6. 第三方库问题

已知的内存泄漏：使用的第三方库可能存在内存泄漏问题，导致内存占用不断增加。
不兼容的版本：某些库的版本可能存在已知的内存管理问题，建议使用最新版本。

7. 系统资源不足

物理内存不足：服务器的物理内存不足，导致 JVM 无法分配足够的内存。
其他进程占用内存：其他运行的进程占用了大量内存，导致可用内存减少。

OOM 的出现通常是由于内存管理不当、资源未释放、配置不合理等多种因素造成的。为了避免 OOM，建议定期进行代码审查、使用内存分析工具监控内存使用情况、合理配置 JVM 参数，并在开发过程中遵循良好的内存管理实践。

常见的OOM类型

1. Java Heap Space OOM

描述：当 Java 堆内存不足以满足对象的分配请求时，会抛出 java.lang.OutOfMemoryError: Java heap space。
原因：
内存泄漏，导致堆内存被占满。
大对象分配，超出堆内存限制。
频繁创建和销毁对象，导致内存使用迅速增加。
解决方案：
增加 JVM 堆内存大小（使用 -Xms 和 -Xmx 参数）。
优化代码，减少不必要的对象创建。

2. GC Overhead Limit Exceeded OOM

描述：当 JVM 花费过多时间进行垃圾回收，但回收的内存却很少，抛出 java.lang.OutOfMemoryError: GC overhead limit exceeded。
原因：
应用程序的内存使用量过高，导致频繁的垃圾回收。
内存泄漏，导致可用内存持续减少。
解决方案：
优化内存使用，减少对象的创建和持有。
增加堆内存大小，减少 GC 频率。

3. PermGen Space OOM（Java 8 之前）

描述：在 Java 8 之前，方法区（PermGen）用于存储类的元数据，当 PermGen 空间不足时，会抛出 java.lang.OutOfMemoryError: PermGen space。
原因：
动态生成大量类（如使用反射或动态代理）。
应用程序中存在内存泄漏，导致 PermGen 空间被占满。
解决方案：
增加 PermGen 空间大小（使用 -XX:MaxPermSize 参数）。
优化类的加载和卸载，减少不必要的类生成。

4. Metaspace OOM（Java 8 及之后）

描述：在 Java 8 及之后，PermGen 被 Metaspace 替代，当 Metaspace 空间不足时，会抛出 java.lang.OutOfMemoryError: Metaspace。
原因：
动态生成大量类，导致 Metaspace 被占满。
类加载器未被正确卸载，导致类的元数据无法释放。
解决方案：
增加 Metaspace 大小（使用 -XX:MaxMetaspaceSize 参数）。
优化类的加载和卸载，减少不必要的类生成。

5. Native Memory OOM

描述：当本地内存（Native Memory）不足时，会抛出 java.lang.OutOfMemoryError: Unable to create new native thread 或其他相关错误。
原因：
创建过多的线程，导致系统无法分配新的线程。
本地库（如 JNI）使用的内存未被释放。
解决方案：
限制线程的创建，使用线程池管理线程。
检查本地库的内存使用情况，确保资源被正确释放。

6. Stack Overflow OOM

描述：当线程的栈空间不足时，会抛出 java.lang.StackOverflowError，虽然这不是典型的 OOM，但也与内存管理有关。
原因：
递归调用过深，导致栈空间耗尽。
解决方案：
优化递归算法，使用迭代代替递归。
增加栈大小（使用 -Xss 参数）。

排查方法

1. 查看错误日志

应用日志：检查应用程序的错误日志，通常会有 OOM 的堆栈跟踪信息，帮助您定位问题。
JVM 日志：如果是 Java 应用，查看 JVM 的日志文件，特别是 hs_err_pid.log 文件，里面会包含 OOM 的详细信息。

2. 监控内存使用情况

使用监控工具：使用监控工具（如 Prometheus、Grafana、JVisualVM、JConsole 等）监控应用的内存使用情况，查看内存的使用趋势。
Heap Dump：在 OOM 发生时，生成堆转储（Heap Dump），可以使用 jmap 工具生成堆转储文件，后续可以使用分析工具（如 Eclipse MAT）进行分析。

3. 分析堆转储

使用分析工具：使用 Eclipse Memory Analyzer Tool (MAT) 或 VisualVM 等工具分析堆转储文件，查找内存泄漏或高内存占用的对象。
查找大对象：查找占用内存较大的对象，分析它们的引用链，确定是否存在不必要的对象持有。

4. 检查代码

内存泄漏：检查代码中是否存在内存泄漏的情况，例如未关闭的资源、静态集合中持有的对象等。
对象创建：检查是否有频繁创建大量对象的情况，考虑使用对象池或重用对象。
数据结构：检查使用的数据结构是否合适，是否可以使用更节省内存的结构。

5. 调整 JVM 参数

堆大小：根据应用的需求，调整 JVM 的堆大小参数（如 -Xms 和 -Xmx），确保有足够的内存可用。
垃圾回收：根据应用的特性，调整垃圾回收策略（如 G1、CMS 等），以优化内存管理。

6. 负载测试

压力测试：在测试环境中进行压力测试，模拟高负载场景，观察内存使用情况，提前发现潜在问题。
性能调优：根据测试结果，进行性能调优，确保应用在高负载下的稳定性。

7. 其他考虑

依赖库：检查使用的第三方库是否存在已知的内存泄漏问题，考虑更新到最新版本。
系统资源：确保服务器的物理内存足够，避免因资源不足导致的 OOM。

排查 OOM 问题需要综合考虑应用的代码、配置、运行环境等多个方面。通过监控、分析和调整，您可以找到并解决 OOM 的根本原因。

预防措施

1. 合理配置 JVM 参数

设置堆内存大小：根据应用的需求合理设置 JVM 的堆内存大小，使用 -Xms 和 -Xmx 参数来指定初始和最大堆内存。
调整垃圾回收策略：根据应用的特性选择合适的垃圾回收器（如 G1、CMS、ZGC 等），并根据需要调整相关参数。

2. 优化代码

避免内存泄漏：
确保及时释放不再使用的对象，特别是对外部资源（如数据库连接、文件流等）的引用。
使用弱引用（WeakReference）或软引用（SoftReference）来缓存对象，避免强引用导致的内存泄漏。
减少对象创建：
尽量重用对象，使用对象池（如数据库连接池、线程池等）来管理资源。
避免在循环中频繁创建对象，考虑使用集合类来存储和管理对象。
使用合适的数据结构：
根据实际需求选择合适的数据结构，避免使用过于复杂或占用内存过大的数据结构。
使用基本数据类型而不是包装类型，减少内存开销。

3. 监控和分析

使用监控工具：定期使用监控工具（如 Prometheus、Grafana、JVisualVM、JConsole 等）监控应用的内存使用情况，及时发现内存使用异常。
生成堆转储：在应用运行时定期生成堆转储（Heap Dump），并使用分析工具（如 Eclipse MAT）分析内存使用情况，查找潜在的内存泄漏。