spark内存管理源码解读(基于Spark1.6)
在初始化SparkEnv时,可以看spark1.6支持两种内存管理方式: StaticMemoryManager(静态内存管理)和UnifiedMemoryManager(统一内存管理),spark1.6之前默认的是静态内存管理,spark1.6之后默认的管理机制是统一内存管理。具体源码如下:
// 1.6之前默认静态内存管理,1.6之后默认统一内存管理
val useLegacyM...
原创
2019-09-18 19:25:19 ·
323 阅读 ·
0 评论