spark on yarn模式下的executor与container

ava8内存模型:

http://www.cnblogs.com/paddix/p/5309550.html

http://www.cnblogs.com/dingyingsi/p/3760447.html

帖子里提到

5、方法区:

方法区也是所有线程共享。主要用于存储类的信息、常量池、方法数据、方法代码等。

方法区逻辑上属于堆的一部分,但是为了与堆进行区分,通常又叫“非堆”。

1.7和1.8后这个方法区 没有了,被原空间取代了

不过元空间与永久代之间最大的区别在于:

元空间并不在虚拟机中,而是使用本地内存。因此,默认情况下,元空间的大小仅受本地内存限制,但可以通过以下参数来指定元空间的大小:

--------------分割线---------------------------------------------------------------------------------

那么这些jvm在yarn 和spark的内存模型上是怎么工作的?

其实我是想知道:

spark on yarn下
一个yarn的Container 可以包含几个spark Executor?
还是一个Executor 下可以有多个Container ?

是一个Container 起了一个jvm,在这个jvm下执行多个task?

一篇帖子spark架构中提到

传送门: http://www.cnblogs.com/gaoxing/p/5041806.html

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值