本文介绍了基于Spark Streaming的流数据处理，强调了Stream Context的重要性，指出在执行ssc.start()后，代码段开始执行形成一系列不停止的RDD。讨论了Receiver的创建，推荐使用Nifi将数据送入Kafka，或直接从Nifi获取。同时，文章讲解了如何在Spark Shell中实现词频统计，并探讨了RDD的join操作及其注意事项。最后，提到了checkpointing在确保数据安全和恢复中的角色。
Stream context 相当于spark context
做实时处理就得用到
setup之后如果close你需要重新创建一个，重启是不行的
词频统计，stream context
ssc.start()执行之后，上面代码段才会执行
一系列不停的RDD
基于spark streaming的流数据处理和分析
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
