通过对Spark Streaming的基本使用介绍后,我这次写了两个小DEMO,加深下对其的使用。
一、Spark Streaming处理文件系统数据
流程图为:
通过SparkStreaming来监听一个固定socket上的数据,获取socket上的数据,然后存储到内存中,再对数据做其他操作。由于socket已经占用了一个资源,所以local[N],N线程数要大于1才能有资源腾出给其他操作。
代码如下:
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
/**
* Spark Streaming处理Socket数据
*
* 测