小屁孩的博客

scala的项目有错误，运行时，显示找不到无法加载主类eclipse的代码没有错误，原因是，java跟scala的类写在了同项目下混合java 和scala 不编译的问题我的做法是：右键项目-properties-scala Compiler -Build manager ：set the compile order to JavaThenScala instead of Mi...

Spark提供了两种创建RDD的方式：读取外部数据集，以及在驱动器程序中对一个集合进行并行化。在驱动器程序中对一个集合进行并行化的方式有两种：parallelize()和makeRDD()。创建并行集合的一个重要参数，是slices的数目（例子中是numMappers），它指定了将数据集切分为几份一般来说，Spark会尝试根据集群的状况，来自动设定slices的数目。当让，也可以手动的...