Spark Streaming中foreachRDD的使用及闭包问题的产生处理
一、前言
foreachRDD是用来把Spark Streaming的数据sink到外部系统,但是使用的时候,这个算子将会被执行在driver进程中,而从driver到executor必然会涉及到序列化的问题。
二、测试。
需求:把流处理的WC结果写到MySQL
MySQLUtils
object MySQLUtils {
/**
* 获取连接
...
原创
2020-04-20 23:15:44 ·
445 阅读 ·
0 评论