spark streaming foreachRDD
foreachRDD(func)
访问DStream中的每个RDD。foreachRDD方法不返回任何值。foreachRDD是一个高阶方法,它的参数func是一个参数为RDD并且返回值为Unit的函数。它将这个参数的函数作用在原DStream中的每个RDD上。在作为参数的函数中可以使用任何RDD上的操作。需要注意的是,foreachRDD方法是在driver端执行,而foreachRDD中用到的RDD转换和行动是在worker节点上执行的。
package spark.examples.streaming
原创
2020-06-20 15:02:22 ·
264 阅读 ·
0 评论