小刀的专栏

问题场景：在编写spark程序时，输出目录存在会造成spark任务失败。处理方法有2种，第一利用脚本方式，在主任务之上加层处理，第二，在spark任务中先处理掉目录。spark支持的可编程语言有Scala、Python、Java。其中Python无需编译打包，十分方便，但是貌似没有处理hdfs系统的Python接口，而Python的执行脚本语言是异步于主任务的，换言之，主任务与脚本任务的执行完成顺

代码如下：val matrix1 = BDM((1.0, 2.0, 3.0, 0.0), (3.0, 4.0, 5.0, 0.0), (5.0, 6.0, 7.0, 0.0))val matrix2 = DenseMatrix.ones[Double](3,4)println(matrix1.activeSize)println(matrix1.cols)pri

实例：package com.lmimport com.alibaba.fastjson.JSONobject JsonDemo {  def main(args: Array[String]) {    val text = "{\"name\":\"name1\", \"age\":55}"    val json = JSON.parseObject(text

scala代码：scala.math.abs(scala.util.Random.nextInt())%27scala.math.abs：绝对值scala.util.Random.nextInt：随机数应用，截取spark数据集：val data = sc.textFile("hdfs://localhost:9000/ModelData/*").f

使用spark1.2 的 standalone 模式运行使用breeze的任务，报如下警告：15/07/28 02:49:32 WARN netlib.BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS15/07/28 02:49:32 WARN netlib.BLAS: F