完美解决 Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/

最新推荐文章于 2025-04-30 10:15:01 发布

原创

最新推荐文章于 2025-04-30 10:15:01 发布 · 4.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #ML

本文解决了一个在Windows环境下使用IntelliJ IDEA开发Spark MLlib程序时遇到的路径配置错误问题。错误发生在尝试创建SparkSession并指定本地模式和应用名称时，涉及到Spark SQL仓库目录的不正确配置。通过正确设置spark.sql.warehouse.dir属性，问题得以解决。

windows下使用intellij 开发 spark mllib 程序发现如下错误。

var spark=SparkSession.builder().master("local").appName("test").getOrCreate()

运行时报错：

6/08/11 15:39:20 INFO SharedState: Warehouse path is 'file:D:\development\intellij_idea\workspace\SparkFaultBench/spark-warehouse'.
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:D:/development/intellij_idea/workspace/SparkFaultBench/spark-warehouse
at org.apache.hadoop.fs.Path.initialize(Path.java:205)
at org.apache.hadoop.fs.Path.<init>(Path.java:171)
at org.apache.spark.sql.catalyst.catalog.SessionCatalog.makeQualifiedPath(SessionCatalog.scala:114)
at org.apache.spark.sql.catalyst.catalog.SessionCatalog.createDatabase(SessionCatalog.scala:145)
at org.apache.spark.sql.catalyst.catalog.SessionCatalog.<init>(SessionCatalog.scala:89)
at org.apache.spark.sql.internal.SessionState.catalog$lzycompute(SessionState.scala