SparkSQL 操作 Mysql 数据

最新推荐文章于 2025-05-17 02:52:17 发布

路飞DD

最新推荐文章于 2025-05-17 02:52:17 发布

阅读量565

点赞数

CC 4.0 BY-SA版权

分类专栏： SparkSQL Spark 大数据 Hadoop Mysql Spark 文章标签： Spark SQL 操作 mysql Spark SparkSql Mysql Spark SQL集成 Mysql

本文链接：https://blog.youkuaiyun.com/weixin_37417954/article/details/94742212

大数据同时被 3 个专栏收录

25 篇文章

订阅专栏

Spark

21 篇文章

订阅专栏

Spark

21 篇文章

订阅专栏

本文展示如何使用Spark SQL从MySQL数据库中读取数据并转换为DataFrame，通过具体代码示例，介绍了设置数据库连接参数、读取表数据及显示schema和数据的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码如下，就是根据连接以及表信息读取表中的数据转换为 DataFrame

拿到 DataFrame 就可以十八般武艺各种操作了

object SparkSQLMysqlDemo {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().appName("SparkSQLMysqlDemo").master("local[2]").getOrCreate()
    val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://192.168.31.74:3306/mybatis")
      .option("dbtable", "user")
      .option("user", "root")
      .option("password", "luffylucy")
      .option("driver", "com.mysql.jdbc.Driver").load()

   
    jdbcDF.printSchema()
    jdbcDF.show()
    spark.close()
  }
}

记得添加数据库连接 pom ：

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>

运行结果为