sparkSQL外部数据源读JDBC

最新推荐文章于 2024-06-08 00:38:24 发布

原创最新推荐文章于 2024-06-08 00:38:24 发布 · 174 阅读

0 ·

CC 4.0 BY-SA版权

Spark 专栏收录该内容

22 篇文章

订阅专栏

本文介绍了一种使用SparkSession从数据库读取数据并将其转换为DataFrame的方法。通过定义一个函数，该函数接受SparkSession实例、数据库URL、用户名、密码、查询字符串和驱动程序类作为参数，可以轻松地从数据库中加载数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

def getDataFrameFromDb(spark: SparkSession, jdbcUrl: String, userName: String, password: String, queryString: String,driverClass: String="com.mysql.jdbc.Driver"): DataFrame = {
    spark.read.format("jdbc").options(
      Map("url" -> jdbcUrl,
        "dbtable" -> queryString,
        "driver" -> driverClass,
        "user" -> userName,
        "password" -> password
      )).load()
  }

返回一个DF