超级会员免费看
本文详细解析Spark 1.6.x以前版本中Shuffle过程中JVM内存的使用和配置，探讨如何计算Spark集群可以缓存的数据量。介绍了JVM内存架构，包括堆、栈、方法区等，并详细阐述了Spark Executor内存的分配和安全空间。通过计算公式展示了单个Executor缓存和Shuffle占用的内存比例，并讨论了unroll过程对缓存的影响。此外，文章还给出了Spark on YARN的实际内存使用案例。
第29课：彻底解密Spark 1.6.X以前Shuffle中JVM内存使用及配置内幕详情：Spark到底能够缓存多少数据、Shuffle到底占用了多少数据、磁盘的数据远远比内存小却还是报告内存不足？
本文根据家林大神系列课程编写 http://weibo.com/ilovepains
1 JVM内存使用架构剖析
2 Spark集群在1.6.x以前中JVM到底可以缓存多少数据？
3 spark集群在1.6.x以前中shuffle JVM到底缓存多少数据？
4 spark on yarn实际计算对内存的使用案例
5 spark1.6.x以前shufflejvm使用配置
1 JVM内存使用架构剖析
JVM 有很多不同的区，最开始的时候，它会通过类装载器把类加载进来，在运行期数据区中有 "本地方法栈"，"程序计数器"，"Java 栈"、"Java 堆"和"方法区"以及本地方法接口和它的本地库。从 Spark 的角度来谈代码的运行和数据的处理，主要是谈 Java 堆 (Heap) 空间的运用。
JVM的体现架构：
订阅专栏 解锁全文
扫一扫
761
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
