spark streaming 广播变量的测试
最近写的一个流式的程序需要从redis 中获取变量信息,并广播,其中redis里面的信息是变动的,要求广播变量也要跟着改变,下面是测试代码:val dStream = KafkaUtils.createDirectStream[String, String](
ssc,
PreferConsistent,
Subscribe[String, String](topic...
原创
2018-02-26 18:28:51 ·
2764 阅读 ·
0 评论