spark-steaming的2种操作

sparkStreaming支持2种操作:

1、转化操作(transformation)会生成一个新的DStream，转换操作分为无状态操作和有状态操作

a)无状态操作:例如map、filter、reduceByKey等都是无状态操作，因为它并没有使用之前批次的数据，操作的是每个时间区域中的数据，不会操作不同时间区域中的数据

b) 有状态操作:基于滑动窗口的转换操作和追踪状态变化的转化操作，有状态转化操作，则会整合不同时间区域内的数据

 

2、输出操作(out operation)会将数据写入到外部系统中（例如saveAStestFile等输出操作，调试的时候使用print操作它会将DStream中的前10个元素打印出来）

 

3、sparkStreaming为读取的数据启动接收器，接收器以任务的形式运行在应用的执行器进程中。(数据保存在执行器进程的内存中，和缓存RDD的方式一样)，并且默认把收集到的数据复制到另一个执行器进程中来保障容错性