Spark 写出MySQL报错，java.sql.BatchUpdateException

最新推荐文章于 2024-11-02 18:53:08 发布

holomain

最新推荐文章于 2024-11-02 18:53:08 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark mysql 文章标签： DataFrame MySQL twice

kill yak-shaving

本文链接：https://blog.youkuaiyun.com/qq_27882063/article/details/79904440

spark 同时被 2 个专栏收录

11 篇文章

订阅专栏

mysql

2 篇文章

订阅专栏

本文介绍了当使用Spark DataFrame向MySQL数据库写入数据时遇到的一个常见错误：BatchUpdateException，并详细解释了错误产生的原因——DataFrame的列名重复。文中提供了一个具体的解决方案，包括如何调整DataFrame的结构以避免重复的列名。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark DataFrame 写出到MySQL时报如下错误：

java.sql.BatchUpdateException: Column ‘name’ specified twice at sun.reflect

原因：写出的DataFrame 表结构和MySQL中创建的表结构不一致，
2个 DataFrame join 后的结果中有两列都是“name”列。

解决：修改DataFrame写出结构。核心代码如下：

    val res1: Dataset[Row] = studentInfoDF.join(stu_scoresDF, 
      studentInfoDF.col("name") === stu_scoresDF.col("name"))
      .filter(stu_scoresDF.col("score") > 80)

    res1.show(false) 

    import  spark.implicits._
    val out: Dataset[(String, Int, String)] = res1.map(row => (row.getAs[String](0),
      row.getAs[Int](1),
      row.getAs[String](3)))
    out.toDF("name","age","score").write.mode("append").jdbc(url,"good_stu",prop)