qingyang0320的专栏

Scala没有与Java对应格式的for循环结构，但是Scala的for循环更加灵活。结构格式如下：for (i    do something  }其中i不用val或var提前声明，直接用，加上val或var反而报错；1 to n表示需要循环的范围，注意，to形成的是包括边际的范围，此即包括1和n。如果需要多重循环，还可以用分号隔开后再加一范围，如下：for (i

在Eclipse里开发spark项目，尝试直接在spark里运行程序的时候，遇到下面这个报错：ERROR SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: System memory 468189184 must be at least 4.718592E8. Please u

参照文档加以修改和深化，mark一下package myworkimport java.io.Fileimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfobject WordCount { def main(arg

针对Spark的RDD，API中有一个aggregate函数，本人理解起来费了很大劲，明白之后，mark一下，供以后参考。首先，Spark文档中aggregate函数定义如下def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U