Spark Jdbc报NullPointerException

CoderFusionZhu

于 2021-11-24 14:22:59 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：日志 Spark Java 文章标签： spark 大数据 streaming jdbc postgresql

本文链接：https://blog.youkuaiyun.com/tianlangstudio/article/details/121514260

日志同时被 3 个专栏收录

90 篇文章

订阅专栏

Java

47 篇文章

订阅专栏

Spark

23 篇文章

订阅专栏

博客内容讲述了在使用Spark JDBC从PostgreSQL读取数据时遇到NullPointerException的问题，原因是配置项中存在null值。解决方案是避免为option设置null值，特别是在`query`和`dbtable`选项中，这两个选项不能同时为null。通过条件判断确保只有非空的配置项被传递，从而避免了程序异常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述：

运行使用Spark Jdbc读取postgresql程序报错：

Exception in thread "main" java.lang.NullPointerException

at java.util.Hashtable.put(Hashtable.java:460)

at java.util.Properties.setProperty(Properties.java:166)

at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.$anonfun$asProperties$(JDBCOPtions.scala:51)

...

at scala.Option.getOrElse(Option.scala:189)

at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:307)

...

代码：

spark.read()

.format("jdbc")

.option("url", url)

.option("query", query)

.option("dbtable", dbtable)

...

.load();//报错定位到这行代码

解决方法：

不要个option设置null值，如：

reader = spark.read()

.format("jdbc")

.option("url", url);

if(query != null) {

reader.option("query", query)

}

if(dbtable != null) {

reader.option("dbtable", dbtable)

}

...

reader.load();