luyllyl的博客

1， 还是从这个案例开始object NetworkWordCount {   def main(args: Array[String]) {     if (args.length < 2) {       System.err.println("Usage: NetworkWordCount <hostname> <port>")       System.exi...

上文提到“ReceiverInputDstream的Receiver是如何被放到Executor上执行的”关键代码ReceiverSupervisorImpl的start方法。 val startReceiverFunc: Iterator[Receiver[_]] => Unit =   (iterator: Iterator[Receiver[_]]) => {     if (!...

1， 还是从案例开始顺藤摸瓜object NetworkWordCount {   def main(args: Array[String]) {     if (args.length < 2) {       System.err.println("Usage: NetworkWordCount <hostname> <port>")       System.e...

1， 还是从案例开始顺藤摸瓜object NetworkWordCount {   def main(args: Array[String]) {     if (args.length < 2) {       System.err.println("Usage: NetworkWordCount <hostname> <port>")       System.e...

上一篇“SparkStream例子HdfsWordCount--从Dstream到RDD全过程解析”解析了每个Dstream周期内，是如何生成的RDD的。 该篇描述一下RDD变成Streaming的Job之后，如何到Executor上面执行开发者写的foreachFunc(rdd,time)的过程。 四、     Streaming的Job是如何进行调度执行的？ 1， 在DstreamGr

上一篇SparkStream例子HdfsWordCount--InputDStream及OutputDstream是如何进入DStreamGraph中：分析了InputDstream及OutputDstream如何进入DStreamGraph,这个单元分析一下FileInputDstream如何生成的RDD. 三、     FileInputDStream是如何生成RDD的呢？ 1，入口是咱

先分析一下Dstream的子类： A,从上图可以发现子类InputDstream都是属于数据源Dstream;InputDStream分成两个类型，一种是ReceiverInputDstream，一种不需要实现ReceiverInputDstream.如FileInputDStream。 B，上图中ForEachDStream就是OutputDstream:所有output算子最终都会调用到这

一，从StreamingContext.start()进入 ===>在SparkContext有一个JobScheduler成员会被初始化，JobScheduler会被StreamingContext.start()被调用 private[streaming] val scheduler = new JobScheduler(this) 二，跟进入JobScheduler的s

接着上文“ReceiverSupervisorImpl.onStart()如何得到Reciver的数据写到spark的BlockManager中”往下分析startReceiver()方法1，supervisor.start()该方法是启动Receiver开始在Executor上接收数据的入口start()方法是在ReceiverSupervisorImpl的父类ReceiverSuperviso...