Spark通过JDBC加载部分数据、添加过滤条件

最新推荐文章于 2025-03-20 21:41:54 发布

雾幻

最新推荐文章于 2025-03-20 21:41:54 发布

阅读量3.9k

点赞数 3

分类专栏： spark 文章标签： spark SQL jdbc 部分数据过滤

本文链接：https://blog.youkuaiyun.com/lb812913059/article/details/83341537

版权

spark 专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何在SparkSQL中使用JDBC连接MySQL、Oracle、Greenplum等数据库时，通过修改dbtable属性实现数据筛选和字段选择，避免加载全量数据表，提高数据处理效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当我们需要使用SparkSQL通过JDBC方式连接MySQL、Oracle、Greenplum等来实现对数据的操作时，可能在某些情况下并不需要加载全量的数据表。例如：

只需要其中的部分字段
按照条件进行筛选后的数据

此时就需要在JDBC连接时对option(“dbtable”, tablename)属性值进行修改，参看spark官网给出的属性介绍：(spark2.3 jdbc-to-other-databases 详细属性链接）

Property Name	Meaning
url	The JDBC URL to connect to. The source-specific connection properties may be specified in the URL. e.g., `jdbc:postgresql://localhost/test?user=fred&password=secret`
dbtable	The JDBC table that should be read. Note that anything that is valid in a `FROM` clause of a SQL query can be used. For example, instead of a full table you could also use a subquery in parentheses.
driver	The class name of the JDBC driver to use to connect to this URL.
… …	… …

dbtable：应该读取的JDBC表。另外也可以在括号中使用子查询语句，而不是完整的表。

测试代码如下：

object JDBCSource {
	def main(args: Array[String]): Unit = {
	    val conf = new SparkConf().setAppName("Greenplum_test").setMaster("local[*]")
	    val sc = new SparkContext(conf)
	    sc.setLogLevel("WARN")
	    val spark = SparkSession.builder().config(conf).getOrCreate()
	    
	    //由于dbtable被用作SELECT语句的源。如果要填入子查询语句，则应提供别名：
	    val tablename = "(select id,name,gender from test.info where gender='man') temp"
	    
	    val data = spark.sqlContext.read
	      .format("jdbc")
	      .option("driver", "com.mysql.jdbc.Driver")
	      .option("url", "jdbc:mysql://localhost:3306/test")
	      .option("dbtable", tablename)			//将查询语句传入
	      .option("user", "username")
	      .option("password", "password")
	      .load()

	    data.show()
  }
}