spark内存调优

executor内存

1、RDD存储：persist、cache操作，RDD持久化在executor中

注：UnifiedMemoryManager模式可设置spark.storage.memoryFraction调节，默认0.6

2、shuffle操作：缓冲区存储shuffle的输出和聚合的中间结果

注：UnifiedMemoryManager模式可设置spark.shuffle.memoryFraction调节，默认0.2

3、用户代码：用户编写的代码能使用的内存空间

 

spark1.6以后内存管理模式为UnifiedMemoryManager，

堆空间：

1、spark memory：设置Spark.memory.fraction调整，默认0.75

（1）、storage memory：设置Spark.memory.storageFraction调整在spark memory中的比例，默认0.5

（2）、Execution memory：

2、user memory：(Java Heap - spark Memory) * 0.25