spark必须知道的几个观点

executor对应container内存

executor对应的内存由两部分组成:

  1. exuecutor-memory控制了堆的大小
  2. spark.yarn.executor.memoryOverhead 控制堆外内存,默认值(384MB, 0.07 * spark.executor.memory),该值一般偏小,需要调大
  3. spark.memory.fraction可以控制年轻代的大小

日志

凡是cluster模式启动的作业,日志都没有打印在本地。因为main()直接在driver上运行

节约内存的好处

  1. 减少GC
  2. persist后的rdd,如果选择将数据缓存到内存中,当executor内存不够,会基于LRU算法将部分分区数据移出去,复用时会重算,增加执行开销

参考

Where do ‘normal’ println go in a scala jar, under Spark
Spark Architecture

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值