Yobadman的专栏

决策树可以分两类：分类树和回归树，分别用于分类模型和线性回归模型。 首先，看一下spark中的使用案例，代码如下： import org.apache.spark.mllib.tree.DecisionTree import org.apache.spark.mllib.util.MLUtils // Load and parse the data file. val data = MLUt

当调用LinearRegressionWithSGD.train() 时，代码执行如下： def train( input: RDD[LabeledPoint], numIterations: Int, stepSize: Double, miniBatchFraction: Double, initialWeights: Vect

在JobScheduler的start()方法中，有一句关键代码会被调用：jobGenerator.start()，这个就是生成job来进行数据的处理，代码如下： /** Start generation of jobs */ def start(): Unit = synchronized { if (eventActor != null) return // generato

当提交任务集时，Spark会分成两种情况：ShuffleMapTask 和 ResultTask ，接下来分析一下 ShuffleMapTask 中主要做了哪些工作。 private[spark] class ShuffleMapTask( stageId: Int, taskBinary: Broadcast[Array[Byte]], partition: Parti

本篇主要讲解一下： 当 SocketReceiver 接收到数据之后进行保存的整个流程。 先看一下 SocketReceiver 的 receive() 方法： /** Create a socket connection and receive data until receiver is stopped */ def receive() { var socket: Sock

根据官方提供的示例代码，查看一下spark streaming整个执行的流程： val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount") val ssc = new StreamingContext(conf, Seconds(1)) // Create a DStream that will

奇异值分解（SVD）是主成分分析（PCA）的一种实现，传统方法求PCA是首先计算协方差矩阵，再通过协方差矩阵求特征值与特征向量求出。当矩阵的维度很大时，求协方差矩阵将会呈现平方级的增长，因此可以通过SVD的方法，达到降维的效果。 先看一下spark中的使用案例，代码如下： import org.apache.spark.mllib.linalg.Matrix import org.apache

reduce操作在RDD中属于action操作，伴随着sc.runJob的调用，源码如下（基于spark 1.2.0版本）： def reduce(f: (T, T) => T): T = { val cleanF = sc.clean(f) val reducePartition: Iterator[T] => Option[T] = iter => { if

当调用reduceByKey()、groupByKey()等操作后，会伴随着ShuffledRDD的生成，具体源码如下： def reduceByKey(partitioner: Partitioner, func: (V, V) => V): RDD[(K, V)] = { combineByKey[V]((v: V) => v, func, func, partitioner)

当经过shuffle写数据到本地磁盘后，需要从磁盘中将数据读取出来，这个是 ShuffledRDD 做的事情： override def compute(split: Partition, context: TaskContext): Iterator[(K, C)] = { val dep = dependencies.head.asInstanceOf[ShuffleDepend

本章重点关注分裂节点的划分。 具体执行的代码为：DecisionTree.findSplitsBins() ： protected[tree] def findSplitsBins( input: RDD[LabeledPoint], metadata: DecisionTreeMetadata): (Array[Array[Split]], Array[A

本章重点关注树中各节点分裂过程中，如何将相应的数据进行汇总，以便之后计算节点不纯度及信息增益，最终确定分裂的顺序。 首先，从 DecisionTree.findBestSplits() 开始，这个方法代码很长，按照执行顺序来看，代码如下： val partitionAggregates : RDD[(Int, DTStatsAggregator)] = if (nodeIdCa

spark1.2.0中的朴素贝叶斯分类器可以处理多分类的问题，典型应用如：文本分类。 先看一个使用的范例，代码如下： import org.apache.spark.mllib.classification.NaiveBayes import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.regressi