funny75的专栏

1.问题引入 spark提供的API函数能满足大多数场景的应用，但是有时候也需要根据实际数据，自己开发API，以进一步提高性能，看下面一个小例子val rdd=sc.parallelize(Array(1,2,3,4,5,6,Double.NaN,7,8,9),2)现在要对其进行统计分析，调用stats函数rdd.stats由于原始数据中有一个缺失值Double.NaN，使得统计结果失去意义，很自

1.maven的安装 到maven官网下载maven,maven依赖于jdk，所以先确保以安装jdk( http://maven.apache.org/download.cgi ) 解压到一个目录下，我选择的是D:\learning_soft\maven 然后配置环境变量 %M2_HOME%=D:\learning_soft\maven\apache-maven-3.3.9 添加到path

http://guozhongxin.com/pages/2014/10/15/spark_source_code.html http://lifelongprogrammer.blogspot.jp/2014/11/build-spark-failure-nonzero-exit-code.html

http://scala-exercises.47deg.com/koans#asserts

linux普通用户开发spark程序时，由于无法使用IDEA的图形化操作界面，所以只能大包围jar，用spark-submit提交，不是很方便， spark的local模式可以方便开发者在本地调试代码，而不用打包为jar用spark-submit提交运行，或是在spark-shell中逐行运行，下面是在windows上运行sparkPi的代码及结果package comimport scala.ma