小刀的专栏

aws 云上的 spark on yarn 模式下，hadoop集群的core-site.xml有：io.compression.codec.lzo.classcom.hadoop.compression.lzo.LzoCodecspark on yarn会默认使用集群的编码方式，但是相关的jar包不会自动的添加，需要自己配置，在  $spark_home/conf/s

在以spark分析栈进行数据分析计算时，经常需要在多目录中选择一定数目的目录或文件。此时就需要用到通配符，使程序更加简洁，代码更加优美。一般目录选择情况，及其方法： n选1 ：目录或文件夹唯一，直接写全目录。如：hdfs://192.168.0.1:9000/spark/app/xxxx 。 n选m ： 使用通配符 [] 。如：hdfs://192.168.0.1:9000/s

spark 执行报告异常：15/04/17 04:15:57 INFO scheduler.TaskSetManager: Lost task 471.0 in stage 1.0 (TID 459) on executor ip-172-1-1-2.cn-north-1.compute.internal: java.lang.OutOfMemoryError (GC overhead lim

问题场景：在编写spark程序时，输出目录存在会造成spark任务失败。处理方法有2种，第一利用脚本方式，在主任务之上加层处理，第二，在spark任务中先处理掉目录。spark支持的可编程语言有Scala、Python、Java。其中Python无需编译打包，十分方便，但是貌似没有处理hdfs系统的Python接口，而Python的执行脚本语言是异步于主任务的，换言之，主任务与脚本任务的执行完成顺

scala代码：scala.math.abs(scala.util.Random.nextInt())%27scala.math.abs：绝对值scala.util.Random.nextInt：随机数应用，截取spark数据集：val data = sc.textFile("hdfs://localhost:9000/ModelData/*").f

使用spark1.2 的 standalone 模式运行使用breeze的任务，报如下警告：15/07/28 02:49:32 WARN netlib.BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS15/07/28 02:49:32 WARN netlib.BLAS: F

转自：http://blog.javachen.com/2015/06/01/how-to-implement-collaborative-filtering-using-spark-als.html本文主要记录最近一段时间学习和实现Spark MLlib中的协同过滤的一些总结，希望对大家熟悉Spark ALS算法有所帮助。更新：【2016.06.12】Spar

/** * 多目录输出 */class RDDMultipleTextOutputFormat extends MultipleTextOutputFormat[Any, Any] {//指定该条记录的输出文件 override def generateFileNameForKeyValue(key: Any, value: Any, name: String): Str