sparkSQL 写数据到MySQL的几种模式解释以及overwrite模式在不删除表结构的情况下的实现

最新推荐文章于 2025-05-30 09:50:32 发布

不会飞的乌龟

最新推荐文章于 2025-05-30 09:50:32 发布

阅读量7.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： sparkSQL数据存入MySQL的几种模式 SaveMode.Overwrite保留表结构情况下的实现

本文链接：https://blog.youkuaiyun.com/qq_42012160/article/details/88816985

spark 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了在使用Spark进行数据操作时，针对Mysql数据库的四种数据存储模式：ErrorIfExists、Append、Overwrite和Ignore，并详细解释了如何在不删除已有表的情况下使用Overwrite模式来覆盖原有数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

１、数据存入Mysql 几种模式
　　默认为SaveMode.ErrorIfExists模式，该模式下，若数据库中已经存在该表，则会直接报异常，导致数据不能存入数据库；
　　SaveMode.Append 若表已经存在，则追加在该表中；若该表不存在，则会先创建表，再插入数据；
　　SaveMode.Overwrite 重写模式，其本质是先将已有的表及其数据全都删除，再重新创建该表，然后插入新的数据；
　　SaveMode.Ignore 若表不存在，则创建表，并存入数据；若表存在的情况下，直接跳过数据的存储，不会报错。

２、SaveMode.Overwrite模式在不删除已有的表的情况下即保留表结构的情况下，覆盖原有数据的实现
eg：

        <!--sqlserver数据库访问-->
        <dependency>
            <groupId>com.microsoft.sqlserver</groupId>
            <artifactId>mssql-jdbc</artifactId>
            <version>7.0.0.jre8</version>
            <!--<scope>provided</scope>-->
        </dependency>
        <!--mysql数据库访问-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.25</version>
            <scope>provided</scope>
        </dependency>

import java.sql.DriverManager
import java.util.Properties

import org.apache.spark.sql.{SaveMode, SparkSession}

object OverWrite {
  def main(args: Array[String]): Unit = {
    val ss = SparkSession
      .builder()
      .appName("OverWrite")
      .master("local")
      //.config("spark.sql.warehouse.dir", "file:///D://lenovo_pj//cpp//cpp")
      .getOrCreate()

    val url      = "jdbc:mysql://10.96.91.186:3306/lenovo_channel_persona?rewriteBatchedStatements=true&" +
      "useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull"
    val driver   = "com.mysql.jdbc.Driver"
    val user     = "root"
    val password = "123456"

    val prop = new Properties
    prop.setProperty("user",user)
    prop.setProperty("password",password)
    prop.setProperty("driver",driver)
    prop.setProperty("charset","UTF-8")

    val arr = Array("aa","bb","cc")
    val tableName = "test_overwrite"

    //先清空MySQL表
    Class.forName(driver)
    val conn = DriverManager.getConnection(url,prop)
    val sm = conn.prepareCall("truncate table "+tableName)
    sm.execute()
    sm.close()

    //在往MySQL表追加数据
    import ss.sqlContext.implicits._
    ss.sparkContext
      .parallelize(arr)
      .toDF("node1","node2","node3")
      .write
      .mode(SaveMode.Append)
      .jdbc(url,tableName,prop)

    conn.close()
    ss.stop()
  }
}