spark-RDD写入数据库

最新推荐文章于 2024-08-21 10:32:40 发布

原创最新推荐文章于 2024-08-21 10:32:40 发布 · 3.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #mysql

mysql 专栏收录该内容

13 篇文章

订阅专栏

本文介绍了一种使用Scala进行批量数据插入MySQL的方法。通过foreachPartition遍历数据集，并利用JDBC连接数据库，实现高效的数据写入操作。适用于大数据处理场景下的数据同步任务。

result.foreachPartition(
  it => {
    var url = "jdbc:mysql://地址/库名?characterEncoding=utf8"
    val conn = DriverManager.getConnection(url, "user", "password")
    val pstat = conn.prepareStatement("INSERT IGNORE INTO `表名 (`geo_hash`, `month_sale`, `mark_size`) VALUES (?, ?,?)")
    for (obj <- it) {
      pstat.setString(1, obj._1)
      pstat.setInt(2, obj._2)
      pstat.setInt(3, obj._3)
      pstat.addBatch
    }
    try {
      pstat.executeBatch
    } finally {
      pstat.close
      conn.close
    }
  }
)