Spark并发读取MySQL

Spark读取MySQL大数据量优化

最新推荐文章于 2025-05-18 17:30:27 发布

原创

最新推荐文章于 2025-05-18 17:30:27 发布 · 2k 阅读

2 ·

CC 4.0 BY-SA版权

Spark读取MySQL数据量过大，一直停在Added broadcast_0_piece0 in memory on cdh-master问题。

19/09/18 14:21:17 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on cdh-slave01:38815 (size: 10.2 KB, free: 2004.6 MB)

1. 检查代码没有问题。

// 获取当天到 0 时时间, 如：2019-09-18 00:00:00
val today = DateUtils.formatTimeZone(DateUtils.getTodayDate)
// 获取40天前 0 时的时间, 如：2019-08-08 00:00:00
val lastFortyDay = DateUtils.formatTimeZone(DateUtils.getDate(-40))

val prop = new Properties()
prop.put("user", "root")
prop.put("password", "root")
prop.put("driver", "com.mysql.jdbc.Driver")

val url = "jdbc:mysql://192.168.100.47:3306/origin?zeroDateTimeBehavior=convertToNull"
val table = "user"

// TIME:MySQL表中的日期时间字段,参数 $lastFortyDay:前40天,$today:今天
val df = spark.read.jdbc(url, table, prop)
df.where(s"`TIME` between '$lastFortyDay' and '$today'").show()

2. 设置executor数量，都会因为超时被kill，只剩一个继续读MySQL，但是一直没有进度。</