B11050101的博客

运行spark自带的demo： 1、提交到client bin/spark-submit --master spark://ip:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g lib/spark-examples-1.6.0-hadoop2.6.0.jar spark报错如下： Exception ...

在使用spark进行开发时，本地运行成功，但是上传到集群发生如下错误： java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object;)Lscala/runtime/ObjectRef; 此问题是由于本地编译时用到的scala版本和Spark集群所用Scala版本不一致导致的，可以通过修改本地sca...

combineByKey是Spark中一个比较核心的高级函数， groupByKey、reduceByKey的底层都是使用combineByKey实现的，所以需要弄清楚它。 def combineByKey[C](createCombiner: (V) => C,                                        mergeValue: (C, V) =&gt...