Spark部分：Spark的静态内存管理和统一内存管理【图片+文字说明】

最新推荐文章于 2025-07-16 00:21:21 发布

道法—自然

最新推荐文章于 2025-07-16 00:21:21 发布

阅读量677

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/wyqwilliam/article/details/81194181

本文介绍了Spark从1.6之前采用的静态内存管理到1.6之后的统一内存管理的转变。在静态内存管理中，内存被划分为task运行、预留、shuffle聚合内存和RDD缓存等部分；而在统一内存管理中，300M作为预留，剩余内存按比例分配给task运行和shuffle及RDD缓存。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

内存管理
       Spark1.6之前使用的是静态内存管理，spark1.6之后使用的是统一内存管理
       静态内存管理：
           0.2：task运行
           0.2：
               0.2*0.2：预留
               0.2*0.8：shuffle聚合内存
           0.6：
               0.1*0.6：预留
               0.9*0.6：
                   0.6*0.9*0.2：反序列化数据
                   0.6*0.9*0.8：RDD缓存和广播变量

统一内存管理：
           300M预留
           (总-300M)*0.25：task运行
           (总-300M)*0.75：
               (总-300M)*0.75*0.5：shuffle聚合内存
               (总-300M)*0.75*0.5：RDD缓存和广播变量