超级会员免费看
本文深入探讨了Spark内存调优，重点在于减少数据对内存的占用。内容涵盖内存调优概述、内存管理、确定内存消耗、调整数据结构、序列化缓存RDD及垃圾收集调整。建议通过Web UI监控内存使用，使用SizeEstimator估算对象大小，并通过调整数据结构和使用序列化来优化内存。此外，还讨论了如何通过GC调优减少执行和存储的干扰，以保持内存效率。
前言
这里再次强调一遍，spark性能调优最重要的只有两个：
- 数据序列化
- 内存调优
上一篇博客已经详细介绍了数据序列化性能调优，本文主要针对内存调优进行讲解。
说白了就是减少数据对内存的占用
内存调优概述
调整内存使用时有三个考虑因素：对象使用的内存量（您可能希望整个数据集都能容纳在内存中）、访问这些对象的成本以及垃圾收集的开销（如果您的对象周转率很高）。
默认情况下，Java对象访问速度很快，但很容易消耗比其字段中的“原始”数据多2-5倍的空间。这是由于以下几个原因造成的：
- 每个不同的Java对象都有一个“对象头”，大约有16个字节，包含指向其类的指针等信息。对于一个数据很少的对象（比如一个Int字段），它可能比数据大。
- Java字符串在原始字符串数据上有大约40个字节的开销（因为它们将其存储在Chars数组中，并保留额外的数据（如长度）），并且由于st
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
