Spark-Streaming中使用MySQL的简单方法（Scala）

最新推荐文章于 2023-10-08 15:08:24 发布

原创最新推荐文章于 2023-10-08 15:08:24 发布 · 1.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Spark-Streaming #RDD #Scala #MySQL

Spark 同时被 3 个专栏收录

9 篇文章

订阅专栏

Scala

4 篇文章

订阅专栏

SQL

2 篇文章

订阅专栏

本文介绍如何在Spark-Streaming项目中利用Scala与MySQL数据库进行交互，详细讲解了将RDD数据插入到MySQL数据库的具体步骤，提供了一种简单有效的实现方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

向MySQL数据库中插入内容：（方法传入参数为一个元组RDD）

def insertResult(record: Iterator[(String, String, String, String, String, String, String, String, String, String, Int, Int)]): Unit = {
    var conn: Connection = null
    var stmt: PreparedStatement = null
    try {
      val url = "jdbc:mysql://localhost:3306/streaminglog"
      val user = "root"
      val password = ""
      conn = getConnection(url, user, password)
      record.foreach(p => {
//        建表：  create table streaming(d varchar(50), h varchar(50), hh varchar(50), fm varchar(50), m varchar(50), brand varchar(50), mallid varchar(50), cityid varchar(50), activityid varchar(50), channelid varchar(50), countnum Integer(20), money Integer(20));
        val sql = "insert into streaming(d, h, hh, fm, m, brand, mallid, cityid, activityid, channelid, countnum, money) values(?,?,?,?,?,?,?,?,?,?,?,?)"
        stmt = conn.prepareStatement(sql)
        stmt.setString(1, p._1)
        stmt.setString(2, p._2)
        stmt.setString(3, p._3)
        stmt.setString(4, p._4)
        stmt.setString(5, p._5)
        stmt.setString(6, p._6)
        stmt.setString(7, p._7)
        stmt.setString(8, p._8)
        stmt.setString(9, p._9)
        stmt.setString(10, p._10)
        stmt.setInt(11, p._11)
        stmt.setInt(12, p._12)
        stmt.executeUpdate()
      })
    } catch {
      case e: Exception => e.printStackTrace()
    } finally {
      if (stmt != null) {
        stmt.close()
      }
      if (conn != null) {
        conn.close()
      }
    }
  }