spark本地运行的错误 java.net.URISyntaxException: Relative path in absolute URI:

最新推荐文章于 2023-06-20 14:35:38 发布
原创 最新推荐文章于 2023-06-20 14:35:38 发布 · 置顶 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文记录了一次使用Apache Spark处理数据时遇到的任务失败问题及其解决过程。主要错误为相对路径出现在绝对URI中，导致任务反复失败。通过调整配置，正确设置输入文件路径解决了此问题。

20/12/03 20:24:03 INFO DAGScheduler: ShuffleMapStage 0 (map at WordCount.scala:24) failed in 2.446 s due to Job aborted due to stage failure: Task 1 in stage 0.0 failed 4 times, most recent failure: Lost task 1.3 in stage 0.0 (TID 5, 192.168.20.167, executor 1): java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: D:%5Ctmp%5Chadoop%5CHamlet.txt
    at org.apache.hadoop.fs.Path.initialize(Path.java:205)
    at org.apache.hadoop.fs.Path.<init>(Path.java:171)
    at org.apache.hadoop.util.StringUtils.stringToPath(StringUtils.java:245)
    at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:411)
    at org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$30.apply(SparkContext.scala:1038)
    at org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$30.apply(SparkContext.scala:1038)
    at org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:171)
    at org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:171)
    at scala.Option.foreach(Option.scala:257)
    at org.apache.spark.rdd.HadoopRDD.getJobConf(HadoopRDD.scala:171)
    at org.apache.spark.rdd.HadoopRDD$$anon$1.<init>(HadoopRDD.scala:207)
    at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:203)
    at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:94)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:96)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:53)
    at org.apache.spark.scheduler.Task.run(Task.scala:108)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:335)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.net.URISyntaxException: Relative path in absolute URI: D:%5Ctmp%5Chadoop%5CHamlet.txt
    at java.net.URI.checkPath(URI.java:1823)
    at java.net.URI.<init>(URI.java:745)
    at org.apache.hadoop.fs.Path.initialize(Path.java:202)
    ... 30 more
 

解决办法：

.setJars(List("D:\\code\\Test\\TestSpark\\out\\artifacts\\TestSpark_jar\\TestSpark.jar"))
完美解决 Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/
zhangjunli的博客
03-30 4829
windows下使用intellij 开发 spark mllib 程序 发现如下错误。 var spark=SparkSession.builder().master("local").appName("test").getOrCreate() 运行时报错： 6/08/11 15:39:20 INFO SharedState: Warehouse path is 'file:D:\de...
Spark2.0异常:java.net.URISyntaxException: Relative path in absolute URI
chenxiao_ji的专栏
09-13 3364
问题： 在Intellij IDEA中构建Spark独立应用，使用Spark2.0。需要生成spark上下文，代码如下： SparkConf conf = new SparkConf().setMaster("local").setAppName("modelPredict"); SparkContext sc = new SparkContext(conf);使用Spark1.6.1时，这样
Hive 启动报错：java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7
Stay hungry, stay foolish !
08-31 6104
文章目录环境描述问题现象问题分析解决方案 环境描述 问题现象 Hive 启动时报错： [deploy@master apache-hive-2.3.7-bin]$ HADOOP_USER_NAME=hdfs hive which: no hbase in (/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/data/software/jdk1.8.0_144/bin:/data/software/hadoop-2.7.7/bin:/data/softwar
Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/SparkFaultBench/spark-
weixin_40583191的博客
07-26 529
错误： Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/SparkFaultBench/spark-warehouse 我产生这种错误的原因是，在本地使用idea进行测试sparksql，结果运行main方法出现这个错误。 解决办法： 在conf中设置 参数： conf.set("spark.sql.warehouse.dir","file:///") 解决了上述问题。 ...
Spark2.0的Caused by: java.net.URISyntaxException: Relative path in absolute URI: file错误
BrotherDong90的专栏
09-21 4173
在使用spark2.0的时候遇到如下错误： 16/09/21 14:12:22 INFO SharedState: Warehouse path is 'file:E:\scalacode_v2\Spark2Pro/spark-warehouse'. Exception in thread "main" java.lang.IllegalArgumentException: java.net.
FAILED: IllegalArgumentException java.net.URISyntaxException: Relative path in absolute URI: ${hivevar:bucket%7D/ads_sr/ads_rpt_sal_ncs_mini_cps_sales_ssa_t
最新发布
12-26
FAILED: IllegalArgumentException java.net.URISyntaxException: Relative path in absolute URI: ${hivevar:bucket%7D/ads_sr/ads_rpt_sal_ncs_mini_cps_sales_ssa_t ``` ### ❌ 错误分析 这个错误的根本原因是...
java.net.URISyntaxException: Relative path in absolute URI: jar://file:/home/jm/jm-gm/gm-admin.jar!/BOOT-INF/lib/oscarJDBC-1.0.jar!/ at java.net.URI.checkPath(URI.java:1823) at java.net.URI.<init>(URI.java:745) at com.oscar.Config.init(Config.java:36) at com.oscar.Driver.<clinit>(Driver.java:74)
07-24
`java.net.URISyntaxException: Relative path in absolute URI` 是一个常见的 Java 异常，通常发生在尝试构造一个 `URI` 对象时，传入的路径字符串格式不符合绝对 URI 的规范，尤其是在路径中包含相对路径片段（如 ...
Hive2.1：Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException:
swing2008的专栏
11-25 3364
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D     at org.apache.hadoop.
hive on spark 出现的FAILED: IllegalArgumentException java.net.URISyntaxException问题
qq_15508167的博客
06-07 3031
今天在整合hive on spark的时候，出现一个小的问题，进行命令：show databases或者show tables时出现如下问题，FAILED: IllegalArgumentException java.net.URISyntaxException: Relative path in absolute URI: file:./$/root/hive/tmp/root/ed57815b...
Caused by: java.net.URISyntaxException: Relative path in absolute URI
weixin_30843605的博客
06-01 800
<property> <name>hive.exec.scratchdir</name> <value>/tmp/hive</value> <description>HDFS root scratch dir for Hive jobs which gets created with write all (7...
spark 2.0 遇到java.net.URISyntaxException: Relative path in absolute URI
yanlixin_2015的博客
10-26 2012
spark-warehouse 默认设置到tomcat的bin目录下，用来存储Hive等数据源的元数据 因此需要设置spark.sql.warehouse.dir这个属性 后面这个地址可以随意设置 报错截图：
Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/
weixin_40583191的博客
08-04 1351
Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/ 这个错误，解决方法（道理都是一样的，就是方式有点区别）： 1、 2、
java.net.URISyntaxException: Relative path in absolute URI:
订书钉qq的博客
06-20 1371
同时说明了通过在本地添加jar再以相对路径引入pom这种方式的配置是没有问题的。
java.net.URISyntaxException: Relative path in absolute URI
大数据
11-17 4493
集群地址写错
hive启动报错 java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7B
热门推荐
付哥的技术课堂
05-18 1万+
启动hive报错： [root@master conf]# hive Logging initialized using configuration in file:/usr/local/hive/conf/hive-log4j.properties SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found bin
Hive 启动异常： java.net.URISyntaxException: Relative path in absolute URI:
好读书，每有会意，便欣然忘食。
10-15 6391
Logging initialized using configuration in jar:file:/wls/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.lang.Illega
Hive报错：java.net.URISyntaxException: Relative path in absolute URI: ${system:user.name}
GulfMoon
03-26 3256
按照博文https://blog.csdn.net/u011817217/article/details/88813874 安装Hive，在启动Hive并show databases时，报错： Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISyntaxExcept...
Hive启动报错：java.net.URISyntaxException: Relative path in absolute URI: ${system:user.name%7D
qq_53836264的博客
04-30 2140
hive> show databases; OK Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:user.name%7D Time taken: 0.744 seconds hive> 解决办法：找到hive安装目录下conf配置文件目...
Caused by: java.net.URISyntaxException: Relative path in absolute URI: E:%5CexcelOutput%5Coutput1.xlsx
05-23
### Java中 `java.net.URISyntaxException` 异常解决方案 #### 问题分析 当程序抛出 `java.net.URISyntaxException: Relative path in absolute URI` 的异常时，通常表示在解析URI字符串的过程中遇到了非法字符或者逻辑冲突。具体来说，在构建绝对URI时包含了相对路径的部分，这违反了URI的标准定义。 此问题可能由以下几个原因引起： 1. **占位符未被正确替换**：某些配置文件中的变量（如 `${system:java.io.tmpdir}` 或 `${system:user.name}`）未能成功解析为实际值。 2. **驱动加载机制问题**：如果依赖的JAR包路径设置不当，可能导致无法找到资源文件或类。 3. **Hive或其他框架的配置错误**：例如Hive的 `hive-site.xml` 文件中可能存在不合法的临时目录路径配置[^3]。 --- #### 解决方案 ##### 方法一：检查并修正配置文件中的占位符 对于涉及动态占位符的场景（如`${system:...}`），需确保这些占位符能够被正确解析为具体的值。以下是针对不同情况的具体操作： - 如果是在Hive环境中遇到该问题，则可以修改 `hive-site.xml` 配置文件中的相关属性。例如将以下字段中的占位符替换为固定路径[^3]: ```xml <property> <name>hive.exec.local.scratchdir</name> <value>/tmp/hive-${system:user.name}</value> </property> <property> <name>hive.downloaded.resources.dir</name> <value>/tmp/${hive.session.id}_resources</value> </property> <property> <name>hive.server2.logging.operation.log.location</name> <value>/tmp/operation_logs</value> </property> ``` 将其中的 `${system:user.name}` 和其他类似的占位符替换成固定的用户名或系统参数的实际值。 ##### 方法二：验证外部JAR包的加载方式 如果是由于第三方库（如神通数据库驱动）引起的异常，则需要确认其加载方式是否存在问题。根据引用描述[^2]，可以通过以下两种方式进行排查和修复： 1. 使用Maven命令手动安装驱动JAR至本地仓库后再引入； 2. 替换为更兼容版本的驱动JAR包。 此外还可以尝试调整POM文件中对本地JAR的引用方式，如下所示： ```xml <dependency> <groupId>com.example</groupId> <artifactId>shentong-driver</artifactId> <version>1.0</version> <scope>system</scope> <systemPath>${project.basedir}/lib/shentong.jar</systemPath> </dependency> ``` 注意这里的路径应指向确切存在的位置，并且建议采用绝对路径而非相对路径来减少潜在风险。 ##### 方法三：编码层面规避非法URI构造 无论何种上下文下都可能发生此类异常，因此开发者应在代码层面上做好防护措施。比如创建URI对象之前先打印调试日志查看待处理字符串的内容；另外也可以利用正则表达式过滤掉不符合标准格式的部分。下面给出一段示范性的Java代码用于安全地生成URI实例： ```java public static URI createSafeUri(String uriString) throws URISyntaxException { if (uriString == null || uriString.isEmpty()) { throw new IllegalArgumentException("Invalid input string"); } String sanitizedUri = uriString.replaceAll("%7B", "{").replaceAll("%7D", "}"); // 去除转义字符干扰 try { return new URI(sanitizedUri); } catch (URISyntaxException e) { System.err.println("Failed to parse URI from [" + sanitizedUri + "]"); throw e; } } ``` --- ### 总结 综上所述，要彻底解决 `java.net.URISyntaxException: Relative path in absolute URI` 这一类问题，可以从三个方面入手——即合理配置环境变量、优化外部依赖管理以及加强源码健壮性设计。每一步都需要细致入微的操作才能达到预期效果。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值