然月 枕流君

首先，推荐下大神的文章，http://blog.youkuaiyun.com/column/details/spark.html 仅作为大神未未提到的细枝末节，进行补充。 Broadcast（广播）是相对较为常用编码功能，通常使用方式，共享配置文件，map数据集，树形计算结构等，为能够更好更快速为TASK任务使用相关变量。 期间，曾见过有同学讲原始日志（log）进行广播，导致集群运行缓慢，诸

spark 内置TaskScheduler级别的调度算法，分别是队列与公平，默认是队列方式。具体源码可参考SchedulableBuilder 准确来讲spark有两层公平，一层是公平调度，一层是公平算法，如此便可使用公平调度+公平算法 或 公平调度+队列算法 公平调度方面，spark的多队列设置在standlong模式下则是较为鸡肋，原因在于没有动态选择队列执行任务的权利，同时公平调度仅仅是