Dapan同学

学习combineByKey算子的时候，对它的3个参数很是疑惑。经过一番实际练习，算是基本弄明白了，因此记录一下。combineByKey是针对不同partition进行操作的。它的第一个参数用于数据初始化（后面着重讲），第二个是针对一个partition的combine操作函数，第三个是在所有partition都combine完毕后，针对所有临时结果进行combine操作的函数。关于...

在IDEA下，使用Maven构建Spark项目时，总是容易报如下错误： java.lang.NoClassDefFoundError: org/apache/spark/streaming/dstream/DStream at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Clas...

在Spark2中，如果使用了kafka库，则很容易产生如下错误：Exception in thread "main" java.lang.ExceptionInInitializerError at org.apache.spark.streaming.dstream.InputDStream.<init>(InputDStream.scala:80) at o...