fast json 引起得内存泄漏

最新推荐文章于 2024-01-23 17:40:43 发布

转载最新推荐文章于 2024-01-23 17:40:43 发布 · 2.5k 阅读

在进行压力测试时，发现系统性能迅速下降，TPS降低，最终导致系统崩溃。进一步调查发现，CPU占用率极高，GC线程过度活跃，且存在内存泄漏问题。深入分析后，确认内存泄漏与FastJSON中IdentityHashMap处理ResolvableType类型有关。

最近项目在做压力测试得时候，发现性能快速劣化，tps很低，到最后系统挂死。

通过查看cpu情况，发现cpu占用非常高，找到暂用cpu的线程是gc线程

同时查看系统内存gc情况，发现频繁gc，并且内存不能够回收，

明显是有了内存泄漏的现象，再dump内存工具，发现com.alibaba.fastjson.util.IdentityHashMap产生了大量

org.springframework.core.ResolvableType

通过分析代码

主要原因是IdentityHashMap 使用 System.identityHashCode作为key，而没有使用 ResolvableType的hash值

主要的出现场景就是json解析的时候，采用了泛型类，泛型类又没有直接指定具体的类型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

迷失-路

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

FastJson竟然会导致内存泄露？你遇到过吗？

weixin_45701550的博客

11-19

3275

FastJson是一款性能优异的java序列化和反序列框架，广泛应用于日常开发工作中，也许正是因为作者在设计这款框架时，比较注重性能方面的考量，在框架安全性，空间占用等方面做了一些牺牲。很不幸小编前两天就遇到了一个使用FastJson导致内容泄漏的问题。下面是小编从发现内存泄漏问题，到问题排查，再到问题修复的整个过程的记录，当各位读者遇到类似问题后，能有所启发。

fastjson带泛型序列化导致内存泄漏

JQ棣的博客

06-14

2913

面试官问你有没有排查过生产环境的内存问题，你这么回答他就对了，记录一次fastjson带泛型序列化导致内存泄漏的排查经验

参与评论您还未登录，请先登录后发表或查看评论

Java反序列化json内存溢出_fastjson反序列化使用不当导致内存泄露

weixin_33358099的博客

02-27

2811

分析一个线上内存告警的问题时，发现了造成内存告警的原因是使用fastjson不当导致的。分析dump发现com.alibaba.fastjson.util.IdentityHashMap$Entry对象比较多。查找相关文档fastjson IdentityHashMap 内存泄漏排查 (这篇文档分析描述的情况与我们遇到的问题的原因一样，是使用com.alibaba.fastjson.util.Pa...

fastjson 导致内存泄漏

qq_41956014的博客

06-11

2604

替换解析方式，不按照有泛型的对象反序列化，先解析成 JSONObject 对象，再从 JSONObject 获取对应的请求结果。使用 TypeReference。

fastjson的内存泄漏问题

aasoga的博客

01-30

4929

内存泄漏 metaspace内存泄露

fastjson内存泄漏解决办法 - springboot实战电商项目mall4j

mall4j的博客

05-11

1097

springboot实战电商项目mall4j （https://gitee.com/gz-yami/mall4j) java开源商城系统环境：jdk1.8 系统：window/linux fastjson版本：1.2.29 关键代码： public class FastJsonUtil { /* * 将 pojo 对象转为 json 字符串，并且驼峰命名修改为下划线命名 */ public static String buildData(Object bean) {

排查 Node.js 服务内存泄漏，没想到竟是它？

程序员成长指北

10-11

1163

今日文章由作者 @林乐扬投稿分享。背景团队最近将两个项目迁移至 degg 2.0 中，两个项目均出现比较严重的内存泄漏问题，此处以本人维护的埋点服务为例进行排查。服务上线后内存增长如下...

内存泄漏还是内存碎片？一文分清两者边界并彻底排查根源问题

内存泄漏与内存碎片的本质区别 内存泄漏与内存碎片是两类常见的内存问题，但其成因与影响机制截然不同。内存泄漏指程序未能释放已分配的内存，导致可用内存持续减少，表现为进程RSS（常驻集）随时间线性增长，最终...

深入理解内存泄漏：10种常见陷阱及精准识别技术（内存管理必修课）

内存泄漏本质上是程序在运行过程中未能正确释放不再使用的动态内存，导致可用内存逐渐减少。其核心危害不仅体现在资源浪费上，更可能引发系统性能下降、服务崩溃甚至级联故障。尤其在长期运行的后台服务中，微小的...

嵌入式内存管理避坑指南，避免ESP32因内存泄漏导致崩溃的6大陷阱

不同于通用计算平台，嵌入式设备常面临实时性要求高、运行环境恶劣、长期无人值守等挑战，任何微小的内存泄漏或分配失败都可能引发系统崩溃或功能异常。尤其在ESP32这类多核、多任务、集成无线通信的复杂SoC上，...

同时引用多版本fastjson导致的内存占用问题

wergh_2008的博客

01-23

650

同时引用多版本fastjson带来的内存占用问题

记一次fastjson引起的内存泄漏问题

gwyenu的博客

09-14

4908

记一次fastjson引起的内存泄漏在了解是什么引发了问题之前，先解决一些工具和概念上的问题一、Jmeter（对jmeter已经有了解的同学可以略过这个部分）二、服务器指标和参数三、观察到的现象和为了提升tps针对性的改进措施尝试四、奇怪的问题五、dump文件分析六、源码追踪七、问题解决背景介绍：在正式上线之前，组里要求进行一次性能测试，希望能尽早发现问题，提前解决问题要求使用jmeter进...

Java核心实操：内存溢出实战、内存泄漏实战

架构师尼恩

12-18

3955

实操1：使用JVisualVM分析内存溢出OOM，实操2：使用JVisualVM分析内存泄漏

Java反序列化json内存溢出_fastjson反序列化使用不当致使内存泄露

weixin_34549315的博客

02-27

2444

分析一个线上内存告警的问题时，发现了形成内存告警的缘由是使用fastjson不当致使的。分析dump发现com.alibaba.fastjson.util.IdentityHashMap$Entry对象比较多。html查找相关文档fastjson IdentityHashMap 内存泄漏排查 (这篇文档分析描述的状况与咱们遇到的问题的缘由同样，是使用com.alibaba.fastjson.uti...

HashMap如何避免内存泄露问题

Knight

02-15

1042

HashMap如何避免内存泄露问题

FastJson那些事儿

programmer_czh的博客

05-24

239

FastJson对于Java程序员来说肯定不会陌生，正如它的名字一样，他的特点就是快，那么阿里巴巴的FastJson、开源的Jackson、Google的Gson各有什么特点呢？ 1.FastJson，不需要依赖额外的jar包，提供静态方法，调用简单方便，而且速度在三者之中相对最快（查阅资料的发现有人说，在反序列化时，json字符串较大，反序列速度略低于Jackson），但与Jackson差不了多少。 2.开源的Jackson，所依赖的jar包较少，但是使用时需要实例化，调用繁琐，可以在使用的时候进

记一次内存泄漏以及解决办法

weixin_34409703的博客

08-06

315

为什么80%的码农都做不了架构师？>>> ...

FastJSON源码分析-SerializeConfig类的分析

qq_45946035的博客

09-11

5030

2021SC@SDUSC 本篇简介 public static String toJSONString(Object object, SerializeConfig config, SerializerFeature... features) { return toJSONString(object, config, (SerializeFilter) null, features); } 我们在前面的文章分析toJSONString的过程中看到除了要转换为JSON字符串的对象外，

fastjson 添加key value_为什么Fastjson能够做到这么快

weixin_39683978的博客

11-22

272

一、FastJson介绍在日常的java项目开发中，JSON的使用越来越频繁，对于Json的处理工具也有很多。接下来就介绍一下阿里开源的一个高性能的JSON框架FastJson，功能完善，完全支持标准JSON库，现在已经越来越受到开发者的青睐。二、 FastJson的特点： 1) FastJson数据处理速度快，无论序列化(把JavaBean对象转化成Json格式的字符串)和反序列...

最新发布

11-22

<think> 我们面对的问题是：在Linux mcuzone 3.10.101开发板上，使用JsonAnalysis()函数解析给定的JSON文件时，出现了'malloc(): memory corruption (fast)'错误。这个错误通常表示在动态内存分配时发生了内存损坏，比如缓冲区溢出、使用已经释放的内存、或者重复释放内存等。根据提供的引用[1]，我们知道json-c库在使用不当时可能导致内存泄漏和踩内存问题。引用[1]特别指出，问题往往源于不清楚某些接口的用法。另外，引用[3]提到了在arm-linux下交叉编译json-c-0.9库时遇到编译问题，这提示我们可能涉及到交叉编译环境的问题。下面，我们将逐步分析可能的原因： ### 1. **内存溢出（Buffer Overflow）** - 在解析JSON时，如果某个字符串值或数组元素超出了预分配的内存空间，就会覆盖相邻的内存区域，导致内存损坏。json-c库在解析过程中会动态分配内存，如果JSON结构异常（如非常长的字符串或嵌套很深），可能触发此问题。 - 检查JSON文件是否有异常结构，比如特别长的字符串或者特别深的嵌套。 ### 2. **使用已释放的内存（Use After Free）** - 在json-c库中，当我们释放了一个JSON对象后，如果再次使用它，就会导致未定义行为。例如，在解析过程中，如果某个JSON对象被提前释放，而后续又试图访问它，可能导致内存损坏。 - 检查代码中是否有提前释放JSON对象的情况。 ### 3. **重复释放（Double Free）** - 如果同一个JSON对象被释放了两次，也会导致内存损坏。json-c库中的`json_object_put`函数会减少对象的引用计数，当引用计数为0时释放对象。如果对一个对象多次调用`json_object_put`，就会导致重复释放。 - 确保每个`json_object_put`调用都是针对有效的对象，并且每个对象只释放一次。 ### 4. **多线程问题** - 如果程序在多线程环境中调用json-c库的函数，而json-c库的某些版本不是线程安全的，则可能导致内存损坏。确保在多线程环境中正确使用json-c库。 ### 5. **交叉编译环境问题** - 引用[3]提到在arm-linux下交叉编译json-c-0.9库时遇到问题。开发板是arm架构，所以可能使用了交叉编译的json-c库。如果交叉编译时配置不正确，可能导致库的行为异常。比如，编译选项不匹配，或者使用了不兼容的编译器版本。 - 确保交叉编译时使用的配置与目标平台兼容，特别是内存对齐和字节序等问题。 ### 6. **JSON文件格式问题** - 虽然引用[2]提到JSON应该是格式正确的，但实际文件可能有错误。例如，未转义的特殊字符、不匹配的括号等。json-c库在解析格式错误的JSON时可能行为异常，导致内存损坏。 - 使用JSON验证工具检查JSON文件的正确性。 ### 7. **json-c库的已知问题** - 引用[1]指出json-c的0.12.1版本存在一些用法问题。因此，需要检查代码中是否遵循了正确的API使用方式。例如： - 使用`json_object_to_json_string`返回的字符串是内部缓冲区，不应被修改，且在下一次调用该函数时可能会被覆盖。 - 使用`json_object_put`来释放对象，而不是直接使用`free`。 - 检查代码中是否正确管理了JSON对象的生命周期。 ### 8. **堆损坏（Heap Corruption）** - 这个错误也可能是由于程序其他部分的内存错误导致的，比如在JSON解析之前或之后，程序其他部分发生了内存越界写操作，破坏了堆的结构。因此，问题可能并不直接在于json-c库，而是程序其他部分的问题。 ### 分析步骤建议： 1. **检查JSON文件**：确保JSON文件格式正确，没有过于复杂或异常的结构。 2. **检查代码**：仔细审查`JsonAnalysis()`函数，确保： - 每个`json_object_get`都有对应的`json_object_put`。 - 没有对同一个对象多次调用`json_object_put`。 - 没有使用已释放的对象。 - 字符串操作没有越界。 3. **使用内存调试工具**：在开发板上运行程序时，可以使用Valgrind（如果可用）来检测内存问题。但由于开发板资源有限，可能需要在模拟环境中运行。 4. **简化测试**：尝试用最小的JSON文件测试，逐步增加复杂度，定位问题。 5. **检查json-c版本**：确认使用的json-c版本，并查看该版本是否存在已知的内存问题。考虑升级到较新版本（如果可能）。由于开发板资源有限，可能无法使用Valgrind等工具，因此需要仔细检查代码和JSON文件的结构，并确保json-c库正确编译。 ### 引用说明根据提供的引用[1][3]，json-c库的使用和交叉编译配置可能是关键因素。请确保按照正确的API使用方式，并检查交叉编译的配置是否合理[^1][^3]。 §§相关问题§§ 1. 如何检测JSON文件格式的正确性？ 2. 在嵌入式环境中如何调试内存损坏问题？ 3. json-c库中如何正确管理JSON对象的生命周期？ </think> 根据您提供的错误信息 `malloc(): memory corruption (fast): 0x01575298`，结合引用内容中关于json-c内存问题的分析，以下是可能的原因及具体分析： ### 一、核心原因分析 1. **内存越界访问（主要嫌疑）** `malloc()` 内存损坏通常由**缓冲区溢出**或**非法指针访问**引起。在解析JSON时，可能出现： - 字符串值未正确终止：若JSON包含未转义的特殊字符（如`"`、`\`），解析时可能越过预分配边界 - 数组索引越界：嵌套数组/对象层级超出预期，导致访问非法内存区域 - 结构体对齐问题（ARM架构敏感）：引用[3]的交叉编译问题可能引发内存对齐错误 2. **对象生命周期管理错误** 引用[1]明确指出：json-c的 **`json_object_put()` 使用不当** 是内存问题的常见根源： ```c // 错误示例：重复释放 json_object* obj = json_object_new_string("test"); json_object_put(obj); // 第一次释放 json_object_put(obj); // 二次释放导致内存损坏（fastbin检测） ``` 3. **跨平台兼容性问题** 开发板环境 `Linux mcuzone 3.10.101` (ARM架构) 可能存在： - 字节序差异（Big/Little Endian） - 结构体填充（padding）不一致 - 堆内存分配器行为差异（如ptmalloc vs. dlmalloc） ### 二、具体诊断步骤 1. **验证JSON格式合法性** 使用引用[2]推荐的命令行工具验证： ```bash # 安装jq工具 sudo apt-get install jq # 检测JSON文件 jq . your_file.json ``` 特殊关注：非ASCII字符、未闭合括号、非法转义符 2. **检查内存操作代码** 重点排查以下模式： ```c // 高危操作1：直接操作json_object内部指针 char* str = json_object_get_string(obj); // 返回指针不可修改！ str[0] = 'a'; // 将破坏内存结构 // 高危操作2：未检查类型直接转换 json_object_object_get_ex(obj, "key", &tmp); int val = json_object_get_int(tmp); // 若tmp非int类型将导致越界 ``` 3. **交叉编译配置检查** 参考引用[3]的编译参数，确认： - 使用 `--host=arm-linux` 明确指定目标架构 - 启用内存调试选项： ```bash CFLAGS="-fsanitize=address -D_FORTIFY_SOURCE=2" \ ./configure --prefix=/your/path --host=arm-linux ``` ### 三、解决方案建议 1. **紧急规避措施** 在 `JsonAnalysis()` 入口添加内存校验： ```c #include <mcheck.h> void JsonAnalysis() { mtrace(); // 启用内存跟踪 // ... 原解析代码 ... muntrace(); } ``` 运行后生成日志，使用 `mtrace` 工具分析 2. **长期修复方案** - **引用计数审计**：确保每个 `json_object_new_*()` 都有且仅有一个 `json_object_put()` - **安全访问封装**： ```c // 安全获取字符串值 char* safe_get_string(json_object* obj, const char* key) { json_object* tmp; if (json_object_object_get_ex(obj, key, &tmp) && json_object_is_type(tmp, json_type_string)) { return strdup(json_object_get_string(tmp)); // 复制独立副本 } return NULL; } ``` 3. **平台适配增强** 在ARM开发板初始化时添加： ```c #include <json-c/json_object_private.h> void json_c_mem_set_hooks( void*(*malloc_fn)(size_t), void(*free_fn)(void*) ); // 替换为开发板兼容的内存分配器 ### 四、根本原因定位流程图 ```mermaid graph TD A[发生 malloc corruption] --> B{检查JSON文件} B -->|格式错误| C[修复JSON语法] B -->|格式正确| D{检查对象操作} D --> E[引用计数错误] --> E1[重复释放/泄漏] D --> F[类型转换错误] --> F1[强制转换非字符串] D --> G[内存对齐问题] --> G1[ARM结构体填充差异] G1 --> H[重新配置交叉编译参数] E1 --> I[添加引用计数日志] ``` > 建议优先使用 **Valgrind for ARM** 交叉编译版本进行堆内存分析（需在开发板部署），可精确定位到具体越界代码位置[^1][^3]。