解决Fastjson2 oom(Out Of Memory),支持大对象(LargeObject 1G)json操作

最新推荐文章于 2024-12-12 16:17:25 发布
最新推荐文章于 2024-12-12 16:17:25 发布
阅读量8.4k 收藏 8
点赞数 5
CC 4.0 BY-SA版权
分类专栏： java 文章标签： json java fastjson
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huang007guo/article/details/132368933
文章讨论了在Fastjson中处理大型对象（>64M）时可能出现的内存溢出问题，介绍了如何通过调整maxArraySize和配置context.features来支持大对象序列化，同时提醒要谨慎管理内存以防止Java堆溢出。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在使用Fastjson中的 JSON.toJSONString时,如果对象数据太大（>64M）会出现Out Of Memory,查看源码发现为JSONWriter中的判断代码

 其中maxArraySize默认最大为64M,如果超过了就会抛出oom错误

 如果fastjson过多的使用内存,也可能导致java堆内存溢出,所以这里建议控制好json对象大小,避免过多过大对象做json操作。

使默认的JSON操作支持到大对象（LargeObject 1G）

也可以使默认的JSON操作支持到大对象（1G），只需要配置好默认上下文对象（context.features）使用方法：

JSON.config(LargeObject, true);

加入到静态代码块或者程序入口，初始化函数等。但是这里要注意如果fastjson过多的使用内存,也可能导致java堆内存溢出。

fastjson2序列化报错OutOfMemoryError
qq_40382400的博客
01-29 1862
报错如下，这里用的是阿里的com.alibaba.fastjson2，该版限制了最大可以大小是64M，超过了就报错OutOfMemoryError。
记录一次发生的OOM异常，OutOfMemoryError: Java heap space
zyh201314zyh的博客
05-29 522
3、json序列化时忽略不必要的参数。2、限制body体大小。1、堆内存增加到2G。
FastJson 读取超大json文件引起OOM问题排查与解决
Zhenxue_Xu的博客
05-23 9018
背景 最近工作有一个需求，需要读取一个约2GB的json文件（存储了约3千万个json对象的集合），解析其中的每个json对象，并进行一些数据转换，最后把转换后的json对象存储到es中。json文件格式大概是这样的： [ { lng: 116.22 lat: 22.00, count: xxxx }, { lng: 116.22 lat: 22.00, count: xxxx }
fastjson 导致的OOM
花开的博客
02-04 1153
fastjson 导致的OOM。
FastJSON处理大对象
haoranhaoshi的博客
02-19 1346
好久没有写博客了，最近的笔记都整理到印象笔记了，等有时间了再移到优快云吧。 今天写一下FastJSON。 FastJSON处理大的JSON对象或数组时，单纯用JSONObject、JSONArray的API不利于性能。 比如反序列化Map对象对应的JSON String。 JSONObject responseJSONObject; try { responseJSONObject = JSON.parseObject(new String(respons
fastjson（七）处理超大对象和超大JSON文本
热门推荐
挖坑埋你
01-27 2万+
当需要处理超大JSON文本时，需要Stream API，在fastjson-1.1.32版本中开始提供Stream API。 来看一下示例代码： 示例对象： package json.fastjson.StreamApi; import java.util.HashMap; import java.util.Map; public class VO { private i
Fastjson大对象64M报错try enabling LargeObject feature instead
丢丢的博客
12-12 1187
Fastjson大对象64M报错try enabling LargeObject feature instead
Fastjson处理超大的json文本
keketrtr的专栏
06-21 1360
超大的json文本
fastjson导致java.lang.OutOfMemoryError: PermGen spac
chihao4686的博客
07-13 1599
fastjson 1.2.5 从携程获取机票订单详情的时候，返回的json对象较为复杂且内容巨多，同事通过fastjson解析成java对象。用户每次请求都会执行如下代码片段： ParserConfig,XmlDateTypeDeserializer，DateTypeDeserial...
解决大对象toString导致的OOM fastJson中的toString发生OOM异常
CC学java
09-09 596
java大对象toString fastJson.toString产生的OOM
BugJson因为json格式问题OOM怎么办
大东码字
11-22 1099
核心在于加强输入校验、合理配置 FastJSON 并考虑安全模式。此外，必要时使用流式处理或更安全的替代库，以提升系统的稳定性和安全性。
【Exception】fastjson的toJSONString()导致OOM
非正常人研究室
04-29 3195
现象 线上代码跑一段时间后出现了OOM的问题，经过日志的检查，发现异常出现在fastjson的toJSONString()导致的OOM 解决 将toJSONString()方法改成jackson的转字符串方法 ObjectMapper objectMapper = new ObjectMapper(); String json = objectMapper.writeValueAsString(obj); 原因 fastjson在转成json字符串的时候会分配一个byte[]，当数据量很大的时候，需要分配
分析FastJson 的最近爆出OOM内存溢出 bug
徐小冠
09-08 1万+
最近接到通知,需要进行升级 (阿里)fastjson 的maven 版本号, 最升级到指定的版本,需要测试发布再次验证 ,啊周末需要加班了. 为什么要进行升级呢,一接到这个通知,我就考虑中,以前是有通知了 不过没有这么急啊,后来其他事情耽搁了,就没有改. 之前一直网络上报出的问题是这样的: fastjson出现高危远程代码执行漏洞，该漏洞是fastjson于2017年爆出的远程...
Fastjson中关于json的处理与配置
kkkkatoq的博客
12-22 3101
String str = "{\"age\":\"年龄\",\"name\":\"姓名\",\"time\":\"2023-12-22T15:51:01.993\"}";String arrayStr = "[{\"age\":\"年龄\",\"name\":\"姓名\",\"time\":\"2023-12-22T15:51:01.993\"},{\"age\":\"年龄\",\"name\":\"姓名\",\"time\":\"2023-12-22T15:51:01.993\"}]";
关于 fastJson的OOM事件
悟已往之不谏，知来者之可追
09-12 1473
https://cert.360.cn/warning/detail?id=82a509e4543433625d6fe4361b5802c9 360关于fastjson的告警 https://github.com/alibaba/fastjson/commit/995845170527221ca0293cf290e33a7d6cb52bf7 这是官方修复commit https://githu...
fastjson2使用
小何的博客
05-12 4605
fastjson2使用
try enabling LargeObject feature instead 代码转 json 报错
最新发布
07-18
<think>我们正在解决一个关于Fastjson2在序列化大对象时出现内存溢出（OOM）的问题。根据引用[1]和引用[2]，问题在于序列化的对象太大（可能达到1G），导致Fastjson2在拼接字符串时消耗过多内存而溢出。引用[1]提到Fastjson2提供了LargeObject特性来支持大对象（1G）的JSON操作。 用户遇到的错误信息可能是类似“OutOfMemoryError”或Fastjson2的特定错误提示，建议启用LargeObject特性。 因此，解决方法是在进行JSON序列化之前，启用Fastjson2的LargeObject特性。这可以通过设置序列化特性（SerializerFeature）来实现。 具体步骤： 1. 确保使用的Fastjson2版本支持LargeObject特性（建议使用最新版本）。 2. 在调用序列化方法时，添加`SerializerFeature.LargeObject`特性。 示例代码： ```java import com.alibaba.fastjson2.JSON; import com.alibaba.fastjson2.JSONWriter; // 或者使用SerializerFeature（在Fastjson2中，可能直接使用JSONWriter.Feature） // 注意：Fastjson2中，LargeObject特性是通过JSONWriter.Feature.LargeObject来启用的 // 原来的代码可能是：JSON.toJSONString(visitorsCountDos); // 修改为： String jsonString = JSON.toJSONString(visitorsCountDos, JSONWriter.Feature.LargeObject); ``` 注意：在Fastjson2中，特性可能通过`JSONWriter.Feature`枚举来设置。请根据实际使用的Fastjson2版本API进行调整。 另外，引用[2]指出，问题是由于集合数据太大导致，所以除了启用LargeObject特性外，还可以考虑： - 优化数据结构，减少不必要的数据传输。 - 分批次处理大集合，避免一次性序列化整个大集合。 - 增加JVM堆内存大小（-Xmx参数），但这只是临时解决方案，对于极大的对象可能不够。 因此，启用LargeObject特性是解决这个问题的直接方法，同时建议评估数据量并做适当优化。 如果问题仍然存在，可能需要进一步检查： - 是否使用了最新版本的Fastjson2（因为LargeObject特性在较早版本可能不支持或存在bug）。 - 是否有其他内存泄漏问题。 最后，注意LargeObject特性可能会影响性能，因为它使用了不同的处理机制来避免内存溢出，所以在非大对象情况下无需使用。 相关问题： 1. Fastjson2中还有哪些特性可以优化大对象序列化？ 2. 如何配置Fastjson2以处理超过1G的JSON对象？ 3. 除了Fastjson2，还有哪些Java JSON库可以高效处理大对象？ 4. 如何避免在序列化大集合时内存溢出？ 5. 如何增加JVM堆内存大小？</think>### 解决 Fastjson2 序列化大对象时内存溢出（OOM）的方法 当使用 `JSON.toJSONString()` 序列化大对象时出现内存溢出错误（如 `OutOfMemoryError`），提示 **"try enabling LargeObject feature"**，可通过以下步骤解决： --- ### 解决方法 1. **启用 LargeObject 特性** 在序列化代码中添加 `JSONWriter.Feature.LargeObject` 参数： ```java // 原始代码（可能引发 OOM） // String json = JSON.toJSONString(visitorsCountDos); // 修改后（启用 LargeObject 特性） String json = JSON.toJSONString(visitorsCountDos, JSONWriter.Feature.LargeObject); ``` 2. **升级 Fastjson2 版本** 确保使用 **Fastjson2 v2.0.22+**（早期版本可能不支持此特性）： ```xml <!-- Maven 依赖 --> <dependency> <groupId>com.alibaba.fastjson2</groupId> <artifactId>fastjson2</artifactId> <version>2.0.48</version> <!-- 使用最新版本 --> </dependency> ``` 3. **优化序列化对象** 如果对象过大（接近 1GB）： - **分页处理**：分批序列化数据 - **字段过滤**：仅序列化必要字段 ```java JSON.toJSONString(visitorsCountDos, JSONWriter.Feature.LargeObject, JSONWriter.Feature.IgnoreNonFieldGetter // 忽略非字段的getter方法 ); ``` --- ### 原理解析 1. **问题根源**： Fastjson 默认使用堆内存拼接 JSON 字符串，当对象过大（如包含数百万条记录）时，会创建大量中间 `char[]` 数组，导致堆内存耗尽[^2]。 2. **LargeObject 的作用**： - 使用 `java.nio.ByteBuffer` 替代堆内存操作 - 支持直接写入磁盘或网络流（减少内存压力） - 默认支持 **1GB 级别**的大对象序列化[^1] --- ### 完整示例代码 ```java import com.alibaba.fastjson2.JSON; import com.alibaba.fastjson2.JSONWriter; public class LargeJsonSerializer { public static String safeSerialize(Object data) { return JSON.toJSONString(data, JSONWriter.Feature.LargeObject, // 启用大对象支持 JSONWriter.Feature.WriteNulls, // 可选：控制空值 JSONWriter.Feature.IgnoreNoneSerializable // 忽略不可序列化字段 ); } } // 调用示例 String json = LargeJsonSerializer.safeSerialize(visitorsCountDos); ``` --- ### 其他优化建议 1. **增加 JVM 堆内存**（临时方案） ```bash java -Xms512m -Xmx4g -jar your_app.jar # 设置4GB堆内存 ``` 2. **使用流式 API** 处理超大对象（>2GB） ```java try (JSONWriter writer = JSONWriter.of(Paths.get("output.json"))) { writer.startArray(); for (Object item : largeCollection) { writer.writeValue(item); } writer.endArray(); } ``` --- ### 相关问题 1. Fastjson2 如何反序列化超过 1GB 的 JSON 文件？ 2. 除了 Fastjson2，哪些 JSON 库能高效处理大对象（如 Jackson/Gson）？ 3. 如何监控 Fastjson 序列化过程的内存消耗？ 4. 在 Spring Boot 中全局配置 Fastjson2 的序列化特性？ 5. 如何避免 JSON 序列化导致的敏感数据泄露？ [^1]: Fastjson2 官方文档说明 LargeObject 特性支持 1GB 级别的大对象操作。 [^2]: 分析表明 `JSON.toJSONString()` 在处理大集合时会创建大量 `char[]` 导致内存溢出。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值