NO.33 要你命3000-宕机问题面面观 4.案例-获取全表数据致OOM

最新推荐文章于 2025-08-07 16:07:04 发布
最新推荐文章于 2025-08-07 16:07:04 发布
阅读量952 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 渔1.要你命三千-宕机问题面面观 文章标签： jvm sql url jdbc jdk sun
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/amosryan/article/details/5624554
本文记述了一次因不当SQL查询导致的应用OOM故障排查过程。通过对JVM内存使用情况的实时监控，结合对驻留SQL的分析，最终定位到问题根源，并给出了相应的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

    某年某月，这个月里发生了几次应用OOM，时间上一般发生在业务繁忙期（应用采用SUN JDK1.4.2.18 ，-Xmx2560m，一般观察繁忙期的JVM消耗最多也就到500m）。

    总算有一次实时观察JVM内存图时（NO.28宕机问题定位分析法 2.查看JVM监控图），重现了OOM现场:JVM消耗在不到一分钟里从400多m冲到了上限。赶在JVM到顶前看了下URL访问表（NO.28宕机问题简单定位分析法 1.1查看长时驻留的请求URL），发现了一个驻留时间比较长的URL，抽丝剥茧，找到一段这样的代码：

 

    where 后面跟1=1，这样SqlUtils.convertString如果返回条件前面可以直接加上"and"）

    SqlUtils.convertString有这么个规则：如果aColumnValue为null或空串，则其返回值为空串…

    一查，aHugeTable 有76多万笔数据......

    因此，初步判断（其实基本上是一定的了）aColumnValue为空……

    拉过来写这段代码的人，说页面上有JS校验，不可能传过来空值，我说校验的事你再去查，考虑到aColumn有索引,你先把那个语句改成这样，赶紧升级：

    紧接着，在更新环境之前，查看DBManager驻留的SQL（还好，系统还没有死干净，这个页面还能看的到），找到了“select ###### from aHugeTable where 1=1”，终100%验证了当初的推断。

    （之前，因为硬件问题，不能使用P6SPY(一种监控JDBC中SQL的组件)，因此自己改造了连接管理器类（DBManager），也实现了当SQL执行时间超过指定的阀值时，输出到一个文本中。这样做还是有个缺陷：没有执行完毕的是无法记录下来的，其实这些没执行完的很可能就是超级长时SQL。所以这个改造是必然的：每隔N秒，将DBmanager中当前执行的SQL刷新到一个文本中，这样一来，就没必要通过一个URL请求去看这些驻留SQL了：）

 

工作时效计算逻辑与算法时效--对节假日、周末调班、周末时间进行处理
zjnxyz的专栏
12-06 5720
前几天项目中要开发一个计算时效的功能，在网上找了好久没有找到相关的代码，只要自己埋头苦干来设计它的逻辑和算法了。 时效也就是正常工作的时间。 项目是一个问题反馈相关的系统。对于一个问题反馈有上报时间和解决时间，这两个时间的差值即为解决这个问题的时效。当然如果紧紧是两者相减，也就不用这么大费周章了。它需要排除中午休息时间，下班时间、上班前时间、周末时间、节假日时间、节假日调班时间。 现在来
Java Date Convert(long, String, Date)
smile_juan
11-15 1700
1. Date convert to long Date now = new Date(); long time = now.getTime(); getTime(): Returns the number of milliseconds since January 1, 1970, 00:00:00 GMT represented by this Date object. 2. lo
ToString()、Convert.ToString()、(string)、as string 的区别
caobin518的专栏
08-17 741
通常 object 到 string 有四种方式(假设有object obj)：obj.ToString()、Convert.ToString()、(string)obj、obj as string。他们都能将 object 对象转换成 string 对象。我就讲讲他们的异
"方案报价页面"前台页面根据情况自动创建li标签————记录备份
a657281084的博客
11-12 1125
1. 前台JSP页面： 方案报价 .yes{ background:#f5f5f5;} .no{ background:#e9e9e9;} 注册登录安联全球网站
Java Convert String & Int
weixin_30492047的博客
09-06 116
To convert a int to string: int num = 123; String str = String.valueOf(num); To convert a string to int: String str = "123"; int num = Integer.valueOf(str); 版权声明：本文为博主原创文章，未经博主允许不得转载。 ...
NO.28 要你命3000-宕机问题面面观:1.最简单定位分析方法
AmosRyan--整体的局部还是整体，宇宙之外还是宇宙
05-14 1027
 (待完善)    一旦系统宕机，就需要尽快定位问题原因，尽快处理。如果有装一些三方的系统监控软件当然最好，没有的话，也可以按以下几种最简单的方式大致定位问题所在。     (以下说明暂基于Weblogic816、Solaris)  如同破案一般，我们需要了解案发现场，那么最好的现场信息莫过于系统临死前的都有谁访问了他——1.获得线程Url信息       1.1 如果此应
NO.30 要你命3000-宕机问题面面观:3.案例-三方交互未设置连接、读取超时时间
AmosRyan--整体的局部还是整体，宇宙之外还是宇宙
05-16 1073
        某年某月某日，客户的一个负责人跑过来说，系统登不上去了。        1.第1招（NO.28宕机问题简单定位分析法 1.1查看长时驻留的请求URL）：马上打开IE访问weblogic console，发现登不上去；     （如果能登上去，你会看到  Execute Threads中可能80~90%为同一个URL）        2.第2招 （NO.28宕机问题简单定
互联网应用架构面面观
GitChat
04-12 1636
内容简介 立足互联网行业，架构通常指的是技术架构，更具体一点的说是系统架构、软件架构，或者是最常见的网站架构。本期我们共同探讨2017年互联网时代，实战型技术架构的演进过程及其优缺点等诸多方面。 京东分布式数据库系统演进之路（张成远，京东云资深架构师） 万人协同规模下的代码管理架构演进（廖超超，百度代码开发协作平台架构师） 微信数据强一致高可用分布式数据库 PhxSQL 设计与实现（陈俊超，腾讯...
资料搜集-JAVA系统的梳理知识3-面试篇
java技术专家全栈成长之路
01-06 7059
> 作者：ppxyn。本文来自读者投稿，同时也欢迎各位投稿，**对于不错的原创文章我根据你的选择给予现金(50-200)、付费专栏或者任选书籍进行奖励！所以，快提 pr 或者邮件的方式（邮件地址在主页）给我投稿吧！** 当然，我觉得奖励是次要的，最重要的是你可以从自己整理知识点的过程中学习到很多知识。 **目录** <!-- MarkdownTOC --> - [前言](...
server.max-http-header-size与OOM不得不说的故事
Ares_xb的博客
03-10 1908
一开始我以为这会是个很简单的事情，毕竟很多人已经从1.x升级到2.x了，但当运维把测试环境的nacos升级到2.x后没多会涌现了一堆告警，全都是找不到dubbo的服务提供者，我这边立马登到nacos容器中查看，整个nacos的堆已经到了32G，且在一直不停地fullgc过了一会更是健康检查失败被k8s重启了，确认了是堆满了以后这边也是立马dump了一份堆快照到持久卷。看的出来是直接原因是有大量5M的byte数组，然后分析引用发现是tomcat的nio请求对象的消息头，难不成是因为请求的消息头非常大？
Android-OOM.rar_memory android_memory for Android_out
09-24
在Android开发过程中，"Out Of Memory"（OOM）错误是一个常见的问题，特别是在处理大量数据、图像或者长时间运行的任务时。这个错误表示应用程序消耗了过多的内存，超过了系统分配的限制，导致系统无法再为该应用...
300做主站(含CP343-1),200,ET2OOM,MM42O三个从站上位机和下位机程序,DP和工业以太网通讯1.zip西门
04-19
300做主站(含CP343-1),200,ET2OOM,MM42O三个从站上位机和下位机程序,DP和工业以太网通讯1.zip西门300做主站(含CP343-1),200,ET2OOM,MM42O三个从站上位机和下位机程序,DP和工业以太网通讯1.zip西门300做主站(含CP343-...
WebLogic宕机大全总结
04-02
### WebLogic宕机问题及其解决策略 #### 一、引言 在现代企业级应用部署中，Oracle WebLogic Server作为一款高性能的企业级Java应用服务器，因其稳定性和强大的功能集受到广泛青睐。然而，在实际生产环境中，...
深入剖析 MetaSpace OOM 问题：根因分析与高效解决策略
热门推荐
张彦峰的博客
03-18 4万+
MetaSpace区是JVM内存管理中的关键部分，负责存储类元数据。随着Java 8的推出，MetaSpace取代了PermGen区，但其灵活性也带来了新的挑战，尤其是在动态类加载和频繁类更新的场景下，容易导致MetaSpace内存溢出（OOM）问题。本文探讨了MetaSpace OOM的根本原因，包括类加载器泄漏、内存管理不当和GC效率低下等，并提供了一系列调优策略和解决方案，帮助开发者有效排查和防止此类问题的发生，确保应用程序的稳定性和高可用性。
Java-JVM探析
WriteBug001的博客
08-07 746
JVM 是 Java 虚拟机（Java Virtual Machine）的缩写，它是 Java 程序运行的执行引擎。它屏蔽了底层操作系统的差异，让 Java 字节码可以在不同平台上运行。更重要的是在虚拟机自动内存管理机制的帮助下，不再需要手动释放内存，不容易出现内存泄露和内存溢出问题。Java 编译器（javac）把.java文件编译成.class字节码，而 JVM 负责执行这些字节码。了解虚拟机的运行机制有助于在我们开发中，更容易发现问题，找到内存泄漏原因…JVM 是规范（接口标准）
Java面试宝典：深入解析JVM运行时数据区
搬砖的小熊猫的博客
08-05 152
官方规范定义Java虚拟机定义了在程序执行期间使用的各种运行时数据区域。其中一些数据区域在Java虚拟机启动时创建，仅在Java虚拟机退出时销毁。其他数据区域是每个线程的。每个线程的数据区域在线程创建时创建，在线程退出时销毁。内存区域划分。
Java垃圾回收（GC）探析
最新发布
WriteBug001的博客
08-07 495
GC Root（垃圾回收根）是 Java 垃圾回收（GC）算法中用于判断对象是否“存活”的起始点。栈中的引用（局部变量）静态变量常量引用JNI 全局引用线程、ClassLoader 等特殊引用从 GC Roots 出发。沿着对象引用关系搜索。标记所有可达对象为存活。未被标记的对象即为垃圾。GC Roots 是一组 JVM 默认认为“永远存活”的对象引用，即使两个对象互相引用，但如果从 GC Roots 无法到达它们，它们依然会被回收。算法名称关键步骤核心特点。
linux开发之mmap内存映射
qq_73797346的博客
08-07 246
mmap是一种将文件或设备直接映射到进程虚拟内存空间的机制，允许程序像访问内存一样操作文件内容，无需传统I/O系统调用。其核心优势包括：优化文件I/O性能、实现高效进程间共享数据、支持库文件的按需加载以及DMA数据传输。mmap通过系统调用实现，主要参数包括映射地址、长度、保护方式和标志位等。文章通过三个示例演示了mmap的实际应用：读取文件内容、追加文件内容以及进程间共享内存通信。其中共享内存示例展示了如何创建/打开共享文件、映射内存区域并进行进程间数据传输。mmap机制在数据库、浏览器等需要高性能I/O
JVM 终止机制详解：用户线程与守护线程
北冥的博客
08-07 149
用户线程未执行完是否会阻止 JVM 终止？。
spring.codec.max-in-memory-size
03-08
<think>好的，我现在需要处理用户关于“spring.codec.max-in-memory-size”的查询。首先，我得回忆一下这个配置的作用。记得在Spring框架中，特别是Spring WebFlux，这个参数是用来限制编解码器在处理HTTP请求和响应时的内存使用的。当上传或下载的数据量较大时，这个参数可以防止内存被耗尽，从而提高应用的稳定性。 接下来，用户可能想知道如何配置这个参数。我需要确认在Spring Boot的不同版本中，配置的方式是否一致。一般来说，在application.properties或application.yml文件中设置，但需要给出具体的例子。比如，在properties文件中使用spring.codec.max-in-memory-size=10MB，或者在YAML中的正确格式。 然后，用户可能关心默认值的问题。不同版本的Spring Boot可能有不同的默认值，比如旧版本默认可能是256KB，而新版本可能调整到了更大的值，比如2MB。需要查阅最新的文档来确认这一点，确保信息的准确性。 另外，应用场景也是需要解释的。比如，当处理大文件上传或下载时，如果超出内存限制，会抛出DataBufferLimitException，这时候调整这个参数可以解决问题。但也要提醒用户注意，设置过大可能导致内存压力，需要权衡。 可能还需要提到，除了全局配置，Spring是否支持针对不同接口单独设置内存限制。比如，在WebFlux中，可以通过ServerCodecConfigurer在配置类中进行更细粒度的控制，这样用户可以根据具体需求调整特定路由的设置。 最后，要确保回答结构清晰，分点说明，同时避免使用Markdown，用自然的中文口语化表达。需要检查是否有遗漏的信息点，比如相关的异常类型、配置的位置、版本差异等，确保用户能够全面理解这个参数的作用和使用方法。</think>在Spring框架中，`spring.codec.max-in-memory-size`是一个用于**控制编解码器内存缓冲大小**的关键配置属性，主要应用于Spring WebFlux（响应式Web模块）。以下是逐步说明： --- ### 一、作用解析 1. **内存限制** 当Spring处理HTTP请求/响应的编解码（如解析JSON、XML或文件上传）时，会预先分配内存缓冲区。此属性设定了单个数据块（如一个文件或一个字段）**允许占用的最大内存**。超出限制时，数据会被写入磁盘临时文件，避免内存溢出（OOM）。 2. **适用场景** - 上传/下载大文件 - 处理包含大型Base64编码数据的请求体 - 解析内存敏感的高并发请求 --- ### 二、默认值与配置方式 1. **默认值** - Spring Boot 2.x 默认值为 **256KB** - Spring Boot 3.x 调整为 **2MB** 2. **自定义配置** 在`application.properties`或`application.yml`中设置： ```properties # 示例：设置为10MB spring.codec.max-in-memory-size=10MB ``` ```yaml # YAML格式 spring: codec: max-in-memory-size: 10MB ``` --- ### 三、异常触发 - 若请求体超过设定值，会抛出`DataBufferLimitException`，提示类似： ```java org.springframework.core.io.buffer.DataBufferLimitException: Exceeded limit on max bytes to buffer ``` --- ### 四、注意事项 1. **权衡内存与性能** - 值过大 → 增加内存压力，影响稳定性 - 值过小 → 频繁磁盘写入，降低吞吐量 2. **WebFlux专属** 该属性仅对基于Reactor的响应式应用生效。传统Spring MVC需使用`spring.servlet.multipart.max-file-size`等属性。 3. **细粒度控制** 可通过自定义`ServerCodecConfigurer`对特定接口单独设置： ```java @Bean public WebFluxConfigurer webFluxConfigurer() { return new WebFluxConfigurer() { @Override public void configureHttpMessageCodecs(ServerCodecConfigurer configurer) { configurer.defaultCodecs().maxInMemorySize(20 * 1024 * 1024); //20MB } }; } ``` --- ### 五、典型应用场景 - 上传超过默认限制的图片/视频 - 接收包含大型JSON数组的POST请求 - 微服务间传输大数据时调整网关配置 合理设置此参数可平衡系统资源利用率和请求处理能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值