在scala中sparkSQL连接mysql并添加新数据

在Scala中使用Spark SQL连接MySQL并添加新数据，可以通过以下步骤实现：

1. 环境准备
确保已安装Apache Spark和MySQL。

下载并添加MySQL JDBC驱动到Spark的lib目录。

如果使用Maven项目，可以在pom.xml中添加以下依赖：

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.26</version>
</dependency>
2. 创建SparkSession
创建一个SparkSession对象，这是与Spark交互的入口点：

import org.apache.spark.sql.SparkSession
 
val spark = SparkSession.builder()
  .appName("Spark SQL to MySQL")
  .master("local[*]") // 使用本地模式
  .getOrCreate()
3. 创建DataFrame
创建一个包含新数据的DataFrame，例如：

import spark.implicits._
 
val data = Seq(
  (1, "Alice", 28),
  (2, "Bob", 30),
  (3, "Charlie", 32)
)
val df = data.toDF("id", "name", "age")
4. 配置MySQL连接信息
设置连接MySQL的JDBC属性：

val jdbcUrl = "jdbc:mysql://localhost:3306/your_database" // 替换为你的数据库地址和数据库名
val jdbcProps = new java.util.Properties()
jdbcProps.setProperty("user", "your_username") // 替换为你的数据库用户名
jdbcProps.setProperty("password", "your_password") // 替换为你的数据库密码
jdbcProps.setProperty("driver", "com.mysql.cj.jdbc.Driver")
5. 将数据写入MySQL
使用DataFrame.write方法将数据写入MySQL表：

df.write
  .jdbc(jdbcUrl, "your_table", jdbcProps) // 替换为你的表名
或者使用option方法配置连接信息：

df.write
  .format("jdbc")
  .option("url", jdbcUrl)
  .option("dbtable", "your_table") // 替换为你的表名
  .option("user", "your_username") // 替换为你的数据库用户名
  .option("password", "your_password") // 替换为你的数据库密码
  .mode("append") // 使用追加模式
  .save()
6. 关闭SparkSession
完成操作后，关闭SparkSession：

spark.stop()
示例代码
以下是一个完整的示例代码，展示了如何将数据从Spark写入MySQL：

import org.apache.spark.sql.SparkSession
import spark.implicits._
 
object SparkMySQLExample {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("Spark SQL to MySQL")
      .master("local[*]")
      .getOrCreate()
 
    val data = Seq(
      (1, "Alice", 28),
      (2, "Bob", 30),
      (3, "Charlie", 32)
    )
    val df = data.toDF("id", "name", "age")
 
    val jdbcUrl = "jdbc:mysql://localhost:3306/your_database"
    val jdbcProps = new java.util.Properties()
    jdbcProps.setProperty("user", "your_username")
    jdbcProps.setProperty("password", "your_password")
    jdbcProps.setProperty("driver", "com.mysql.cj.jdbc.Driver")
 
    df.write
      .jdbc(jdbcUrl, "your_table", jdbcProps)
 
    spark.stop()
  }
}
通过以上步骤，你可以轻松地将数据从Spark写入MySQL数据库。