sparkSQL读入csv文件写入mysql（4）

原创于 2025-05-19 08:01:23 发布 · 201 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #数据库

四）Spark添加数据到mysql
核心方法：dataFrame.write.mode("append").jdbc()。

import org.apache.spark.sql.SparkSession
import java.util.Properties
object SparkMySQL {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().appName("SparkMySQL").master("local[*]").getOrCreate()

// 创建properties对象，设置连接mysql的用户名和密码
val prop = new Properties()
prop.setProperty("user", "root")
prop.setProperty("password", "000000")
// 插入一条数据到数据库
val data = Seq(("3", "zhangsan", "30"))
val df2 = spark.createDataFrame(data).toDF("id", "name", "age")
df2.write.mode("append").jdbc("jdbc:mysql://hadoop100:3306/spark", "person", prop)
}
}

上面的代码运行完成之后，切换到finalshell中的mysql端，查看效果。