关于Spark的structured Streaming窗口函数实时处理kafka消息的简单应用例子
1.简单介绍
我在写这个博客的时候spark已经出到2.4.0的版本了,在基础的板块里面spark官网上有strucrtred Streaming的应用。有兴趣的话可以去官网上去看看。
2.话不多说,代码奉上
1.第一步,使用结构的的流读取kafka的消息(这里关于kafka的部分就不多做解释了),
//创建SparkSession
val spark =
SparkSess...
原创
2019-01-19 09:21:58 ·
3507 阅读 ·
2 评论