Java中处理大数据量时产生OOM(Out of Memory)异常的一点经验

最新推荐文章于 2024-04-26 16:17:32 发布
原创 最新推荐文章于 2024-04-26 16:17:32 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #vector

本文探讨了在Java中使用不同类型的集合（如ArrayList, Vector, LinkedList）时的内存管理问题，特别是针对数组可能导致的内存溢出问题进行了讨论，并提出了可能的解决方案。

可能使用了数组，或者是ArrayList和Vector。

一般来说因为数组要分配连续的内存空间，所以容易产生OOM错误。

 

但是，可以尝试使用LinkedList等集合。

 

OOM（Out of Memory）
Mr.xing的博客
06-03 423
OOM（Out of Memory），内存溢出，是一个常见的计算机科学术语，指的是应用程序或系统因为没有足够的内存空间来执行其任务而崩溃或出错的状态。在计算机科学中，OOM错误通常指的是一个程序在尝试使用比其分配或系统可用的内存更多的内存时发生的情况。数据结构过大：程序中使用的数据结构（如数组、列表、树等）变得过大，消耗了过多的内存。分页或分批处理数据：对于需要大量数据处理的操作，考虑分页或分批处理来减少内存使用量。不恰当的内存分配：程序一次性请求分配大量内存，而系统无法满足这一请求。
OOM (Out Of Memory) 常见原因总结
最新发布
weixin_62371118的博客
08-07 1417
"OOM" (Out Of Memory) 是指程序在运行过程中因为内存不足而引发的错误。在 Java 中，这种错误通常表现为。OOM 可以发生在不同的内存区域，具体原因取决于程序的运行情况和内存分配策略。
【Java】项目中大批量数据查询导致OOM
DreamSun的博客
06-18 2593
需求描述：查询表call_task中待拨打的数据进行拨打，call_task中一次可能会有大批量数据需要处理。是因为数据量过大超过了堆内存中设置的最大内存，一次性读取的数据太多导致内存容纳不下，抛出了内存异常。异常，先准备好数据在启动项目时把堆内存的最大值设置小一点就可以进行模拟内存溢出的异常。既然是数据量过大导致的问题，我们可以减少每次查询的数据来解决这个问题。程序中的实例对象包括从数据库读取的数据是存在堆内存中的。使用分页查询，避免一次性查询所有的数据，分批次处理。设定的最大内存， 就会抛出。
java csv大数据量导出(千万级别，不会内存溢出)
11-19
java csv大数据量导出(千万级别，不会内存溢出)，多线程导出 ，生产环境已经很稳定的使用着
JAVA导出exce大数据量发生OOM异常
王永川的专属博客
12-08 2359
JAVA导出exce大数据量发生OOM异常 一般来说出excel的方式，一种是poi方式的，一种是jxl方式的。这两种方式支持大量数据导出都有一定的问题，因此试图寻找一个新办法，找到了easyexcel easyexcel说明 1. 快速、简单避免OOM的java处理Excel工具 2. java解析、生成Excel比较有名的框架有Apache poi、jxl。 3. 但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题， 4. 但POI还是有
java map 内存_内存整了个map处理数据，但是太大了，经常OOM
weixin_39603609的博客
02-12 1341
阿里给的一个笔试题，要我分析一个10G的文本，当时在线面试，没多想，随便写了写。现在自己写了一下，问题蛮多的。我有三个4G的样本，都是我写程序随机生成的，字符集合不同，有的字符集很广，这样就会导致OOMpublicclassSolution{mapwordsCountmap=newHashmap<>();mapcomputeWordsFromBufferReadFile...
java读取百万条记录出错_如何实现导出百万条数据到EXCEL中不报OOM异常？
weixin_36193839的博客
02-26 467
Java项目中使用POI导出百万条数据到Excel中，但是会出现内存溢出异常。存在以下问题需要考虑POI导出条数限制6w+数据量大的话会导致内存溢出现在的做法是每6w条数据做一次分割，创建一个新sheet去，但是这种做法特别慢List>result=newArrayList>();ListdataList=newArrayList();if(resul...
java poi 导入大数据量Excel数据 防止内存溢出处理.zip
03-20
然而，当处理大数据量的Excel文件时，POI可能会导致内存溢出（Out of Memory, OOM），因为默认情况下它会将整个工作簿加载到内存中。为了防止这种问题，我们需要采用优化策略来高效地处理大量数据。 1. **分块读取*...
Java出现OutOf MemoryError（OOM 错误)的原因有哪些？出现OOM错误后，怎么解决？
weixin_43954263的博客
04-26 1362
OutOf MemoryError这种错误可以细分为多种不同的错误，每种错误都有自身的原因和解决办法
精选资源
java poi 读取百万数据OOM优化
06-26
Excel文件通常存储为二进制格式，如`.xls`或`.xlsx`，这些文件可以容纳大量的行和列，但当数据量过大时，可能会引发内存溢出（Out Of Memory, OOM）错误。在这种情况下，我们需要对代码进行优化以避免此类问题。本篇...
为什么我使用【ArrayList】存储数据报错【OOM】
weixin_41998764的博客
12-25 1454
List在开发中的报错与选择问题描述：解决方式：原因：替换优缺点:优点：缺点：如何选择： 问题描述： 在项目开发中使用ArrayList来存储数据，数据量并不大，但是频繁报错OOM 解决方式： 将ArrayList替换为LinkedList即可解决 原因： 二者都是List结构，但是ArrayList的数据存储在内存中是连续的，这就导致不管你存储多大数据量，这个数据块一定要连续的内存空间，在内存资源稀少且分布不均的情况下，很难为ArrayList去寻找到这么一块空间，没有空间，GC也无法满足条件，那么自然会
导出超大数据量，如何避免JVM出现OOM，EasyExcel分批导出解决思路，超过100w分sheet写
MrCao杰罗尔德的博客
02-28 7195
导出背景 前边一篇博文提到，查询超大数据量，如何避免JVM出现OOM，分批查询处理解决思路 其实企业中，很多地方可能都需求用到文件导出功能，但有的时候我们需求导出一个，对于刚入行的小伙伴，发现需求导出全部数据时，代码里面可能经常会出现这种SQL: #查询全表 select * from table_name; #查询很大（很多时候是全表） select * from tab_name limit 0, 9999999; 每当博主发现线上机器OOM，在定位到代码的时候，很多地方都是因为导出，当我看到导出代码
java 内存泄漏场景_JVM内存泄漏导致内存溢出(OOM)的场景
weixin_39573512的博客
02-19 475
一、概念1. 内存泄漏：对象使用完之后，没有按照预期被GC回收，一直留在内存中2. 内存溢出：大量对象一直留在内存中，导致内存不够用(OOM)，影响正常的程序运行二、内存泄漏的场景1. 内存中数据量太大，比如一次性从数据库中取出来太多数据2. 静态集合类中对对象的引用，在使用完后未清空(只把对象设为null，而不是从集合中移除)，使JVM不能回收，即内存泄漏3. 静态方法中只能使用全局静态变量，而...
java程序出现oom如何解决？什么场景下会出现oom？
aa896517050的博客
07-22 2688
⽅法区和堆⼀样，是线程共享的区域，包含Class⽂件信息、运⾏时常量池、常量池，运⾏时常量池和常量池的主要区别是具备动态性，也就是不⼀定⾮要是在Class⽂件中的常量池中的内容才能进⼊运⾏时常量池，运⾏期间也可以可以将新的常量放⼊池中，⽐如String的intern()⽅法。由直接内存导致的内存溢出，⼀个明显的特征是在Dump⽂件中不会看见明显的异常，如果发现OOM之后Dump⽂件很⼩，⽽程序中⼜直接或间接使⽤了NIO，那就可以考虑检查⼀下是不是这⽅⾯的原因。栈是线程私有，它的⽣命周期和线程相同。...
Java 批量插入10w数据 每次只插入100条数据
lilang_9920的博客
01-11 2125
有时候批量插入数据的时候会有内存溢出的情况，所以可以把这10w+的数据分批 每次只插入100条数据 以下是自己写的一个测试demo 仅供参考！！！ List<Deriver> list = new ArrayList<>(); for(int i = 0;i<=1009;i++){ Deriver deriver = new Deriver(); deriver.setId(i+""); deriver.setName("张三"+i); d
Java的内存 -JVM 内存管理
weixin_33726318的博客
08-20 224
一.综述 如果你学过C或者C++，那么你应该感受过它们对内存那种强大的掌控力。但是强大的能力往往需要更强大的控制力才能保证能力不被滥用，如果滥用C/C++的内存管理那么很容易出现指针满天飞的情况，不出问题还好，一出问题debug起来简直让人头疼得不要不要的。借用一句话，“指针一时爽，重构火葬场”。 而对java程序员来说，则没有这样的烦恼，因为java直...
MyBatis中使用流式查询避免数据量过大导致OOM
Java笔记虾
02-05 1297
点击关注公众号，利用碎片时间学习今天mybatis查询数据库中大量的数据，程序抛出：java.lang.OutOfMemoryError:Javaheapspace看下日志，是因为一...
Java内存溢出(OOM)分析
萌兔兔MMQ！！
09-16 3373
当JVM内存不足时，会抛出java.lang.OutOfMemoryError.主要的OOM类型右：Java heap space：堆空间不足GC overhead limit exceeded : GC开销超出限制Permgen space：永久代内存不足Metaspace：元空间内存不足Unable to create new native thread：无法创建新的本地线程： 交换空间内存不足Java heap space：堆空间不足。
记一次JAP查询导致OOM的问题分析
自律使我自由
07-05 808
前段时间线上遇到OOM问题，经排查分析发现是由于有一个接口一次性返回的数据量过多导致（大约200W个结果集），不过对于问题接口数据量虽然较多，但返回的数据只有一个长度为7的string类型的字段，所以200W条大约也就十几M，这还不至于造成OOM。直接分析无法解释导致OOM的原因了，那只有模拟了，于是本地启了一 个接口模拟返回的数据量，发现内存消耗巨大，远远超过十几M，于是将堆内存导出来分析。通过堆内存分析可以看出，原本7个字节的string类型，被包装成各种对象，并且被包装后占用空间剧增，最终达到1G多。
深入解析：Java OutOfMemory错误与Weblogic OOM解决方案
"该文主要讨论了在处理Weblogic服务器中的OutOfMemory (OOM) 错误，特别是与报表业务相关的实例。文中深入解析了Java内存管理的基本概念，并提供了内存不足和内存泄漏问题的分析方法及解决方案。" 在Java应用程序中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值