SparkStreaming 数据实时处理

SparkStreaming

1、创建一个SparkConf()
2、新建SparkContext
3、新建StreamingContext(SparkContext,time间隔)
4、 |->socketTextStream(“ip”,port)
5、对Dstream进行操作
6、启动Sparkstreaming程序
.start
7、等待优雅的退出

8、ssc.awaitTermination()

---

最少两个线程 receiver calculater

---

累加历史数据，就要把中间结果保存起来
两种方式：
1、保存中间结果
val ssc = new StreamingContext(conf, Seconds(5))
ssc.checkpoint("./ck")

2、使用redis
创建关键字、实现累加

---