Spark定制班第24课：Spark Streaming的Transformation、Action、Input和Output源码图解

本期内容：

1. Spark Streaming的Transformation、Action源码图解

2. Spark Streaming的Input、Output源码图解

StreamingContext成员：socketStream

  /**

   * Create a input stream from TCP source hostname:port. Data is received using

   * a TCP socket and the receive bytes it interepreted as object using the given

   * converter.

   * @param hostname      Hostname to connect to for receiving data

   * @param port          Port to connect to for receiving data

   * @param converter     Function to convert the byte stream to objects

   * @param storageLevel  Storage level to use for storing the received objects

   * @tparam T            Type of the objects received (after converting bytes to objects)

   */

  def socketStream[T: ClassTag](

      hostname: String,

      port: Int,

      converter: (InputStream) => Iterator[T],

      storageLevel: StorageLevel

    ): ReceiverInputDStream[T] = {

    new SocketInputDStream[T](this, hostname, port, converter, storageLevel)

  }

SocketInputDStream：

class SocketInputDStream[T: ClassTag](

    ssc_ : StreamingContext,

    host: String,

    port: Int,

    bytesToObjects: InputStream => Iterator[T],

    storageLevel: StorageLevel

  ) extends ReceiverInputDStream[T](ssc_) {

  def getReceiver(): Receiver[T] = {

    new SocketReceiver(host, port, bytesToObjects, storageLevel)

  }

}

ReceiverInputDStream：

abstract class ReceiverInputDStream[T: ClassTag](ssc_ : StreamingContext)

  extends InputDStream[T](ssc_) {

...

InputDStream：

  ssc.graph.addInputStream(this)

把ImputDStream放入到了graph中。

DStream.foreachRDD产生ForEachDStream对象，该对象通过register对象也放入了graph中。