Spark2.0异常:java.net.URISyntaxException: Relative path in absolute URI

最新推荐文章于 2023-06-20 14:35:38 发布

纪辰晓

最新推荐文章于 2023-06-20 14:35:38 发布

阅读量3.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Java Spark 文章标签： spark2.0 异常

本文链接：https://blog.youkuaiyun.com/chenxiao_ji/article/details/52527159

本文档详细介绍了在使用Spark2.0时遇到的`java.net.URISyntaxException`异常，该异常通常与绝对URI中的相对路径有关。我们将深入探讨问题的原因，并提供有效的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题：

在Intellij IDEA中构建Spark独立应用，使用Spark2.0。需要生成spark上下文，代码如下：

SparkConf conf = new SparkConf().setMaster("local").setAppName("modelPredict");
SparkContext sc = new SparkContext(conf);

使用Spark1.6.1时，这样写是不报错的，换成Spark2.0以后报错如下：

Caused by: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:D:/Program%20Files/server/apache-tomcat-7.0.68/bin/spark-warehouse
	at org.apache.hadoop.fs.Path.initialize(Path.java:206) ~[hadoop-common-2.2.0.jar:na]
	at org.apache.hadoop.fs.Path.<init>(Path.java:172) ~[hadoop-common-2.2.0.jar:na]
	at org.apache.spark.sql.catalyst.catalog.SessionCatalog.makeQualifiedPath(SessionCatalog.scala:114) ~[spark-catalyst_2.11-2.0.0.jar:2.0.0]
	at org.apache.spark.sql.catalyst.catalog.Sess