雷恩Layne

spark.default.parallelism是指RDD任务的默认并行度，Spark中所谓的并行度是指RDD中的分区数，即RDD中的Task数。当初始RDD没有设置分区数（numPartitions或numSlice）时，则分区数采用spark.default.parallelism的取值。Spark作业并行度的设置代码如下：val conf = new SparkConf() .set("spark.default.parallelism", "500")对于reduceByKey和jo

Yarn Cluster任务提交分为三个部分：用户编写好的Spark应用程序提交到Yarn上（截止到ApplicationMaster启动Driver那一步）Driver对用户的应用程序进行App->Job->Stage->Task划分Driver分发Task到Executor上首先，我将从源码部分一步一步解释上面的具体实现。然后，把对上面三部分进行转化为文字描述，方便面试时回答。需要注意的是，跟踪源码的时候添加一下依赖：<dependency> &l

java.lang.InternalError: Malformed class name解决方法最近在写Spark程序时，出现如下错误：Exception in thread "main" java.lang.InternalError: Malformed class name at java.lang.Class.getSimpleName(Class.java:1330) at org.apache.spark.sql.execution.aggregate.ScalaUDAF.toStri