SparkSQL对mysql的读写

最新推荐文章于 2025-04-02 11:09:19 发布

Round_Yuan

最新推荐文章于 2025-04-02 11:09:19 发布

阅读量614

点赞数

分类专栏：大数据开发文章标签： SparkSQL JDBC数据源

本文链接：https://blog.youkuaiyun.com/ProgramMonika/article/details/83014260

版权

大数据开发专栏收录该内容

9 篇文章

订阅专栏

本文详细介绍了如何使用SparkSQL通过JDBC连接MySQL数据库，包括数据读取、过滤及写回数据库的完整流程。文章提供了具体的代码示例，展示了如何筛选特定条件的数据并进行字段操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkSQL JDBC数据源

！：load这个方法不会真正读取mysql的数据

//1、创建sparkSession
val sparkSession: SparkSession = SparkSession.builder().appName("JdbcDataSource").master("local[*]").getOrCreate()
    import sparkSession.implicits._
//2、从数据库中读取数据
    val logs: DataFrame = sparkSession.read.format("jdbc").options(
      Map("url" -> "jdbc:mysql://localhost:3306/bigdata",
        "driver" -> "com.mysql.jdbc.Driver",
        "dbtable" -> "log",
        "user" -> "root",
        "password" -> ""
      )
    ).load()

    //logs.printSchema()输出schema信息
	
    //logs.filter($"age" >12) 过滤年龄大于12的人，查询结果包括了12
	//方式二，不包含12
/*    val filtered:Dataset[Row] = logs.filter(
      r => {
        r.getAs[Int](2) < 12
      }
    )
    filtered.show()*/

	
    val nlog: DataFrame = logs.select($"id",$"name",$"age"*10 as "new_age")
	//将数据写到mysql中
    val pope = new Properties()
    val props = new Properties()
    props.put("user","root")
    props.put("password","")
    nlog.write.mode("ignore").jdbc("jdbc:mysql://localhost:3306/bigdata", "logs1", props)
    logs.show()
    sparkSession.close()
    ```