SparkStreaming两个小Demo

通过对Spark Streaming的基本使用介绍后，我这次写了两个小DEMO，加深下对其的使用。

一、Spark Streaming处理文件系统数据

流程图为：

通过SparkStreaming来监听一个固定socket上的数据，获取socket上的数据，然后存储到内存中，再对数据做其他操作。由于socket已经占用了一个资源，所以local[N]，N线程数要大于1才能有资源腾出给其他操作。

代码如下：

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * Spark Streaming处理Socket数据
  *
  * 测试： nc
  */
object NetworkWordCount {


  def main(args: Array[String]): Unit = {