使用广播变量来优化,广播变量的原理是:
在每一个Executor中保存一份全局变量,task在执行的时候需要使用和这一份变量就可以,极大的减少了Executor的内存开销。
Executor中task在执行的时候如果使用到了广播变量,会找Executor里面的BlockManager来获取广播变量。
如果BlockManager中没有这个关闭变量,会从driver端拉取关闭变量。
在Driver端也有一个blockManagerMaster,其他的task执行的时候直接使用blockmanager中的广播变量就可以。