spark本地运行的错误 java.net.URISyntaxException: Relative path in absolute URI:

快乐的码农一枚 快乐的码农一枚 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.1k累计阅读 1.2k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄19年
关注
原创 最新推荐文章于 2026-06-25 10:44:09 发布 1.1k 阅读 AI 写同款· GEO 优化 ›
Spark2.0异常:java.net.URISyntaxException: Relative path in absolute URI 问题： 在Intellij IDEA中构建Spark独立应用，使用Spark2.0。需要生成spark上下文，代码如下： SparkConf conf = new SparkConf().setMaster("local").setAppName("modelPredict"); SparkContext sc = new SparkContext(conf);使用Spark1.6.1时，这样 阅读详情

20/12/03 20:24:03 INFO DAGScheduler: ShuffleMapStage 0 (map at WordCount.scala:24) failed in 2.446 s due to Job aborted due to stage failure: Task 1 in stage 0.0 failed 4 times, most recent failure: Lost task 1.3 in stage 0.0 (TID 5, 192.168.20.167, executor 1): java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: D:%5Ctmp%5Chadoop%5CHamlet.txt
    at org.apache.hadoop.fs.Path.initialize(Path.java:205)
    at org.apache.hadoop.fs.Path.<init>(Path.java:171)
    at org.apache.hadoop.util.StringUtils.stringToPath(StringUtils.java:245)
    at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:411)
    at org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$30.apply(SparkContext.scala:1038)
    at org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$30.apply(SparkContext.scala:1038)
    at org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:171)
    at org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:171)
    at scala.Option.foreach(Option.scala:257)
    at org.apache.spark.rdd.HadoopRDD.getJobConf(HadoopRDD.scala:171)
    at org.apache.spark.rdd.HadoopRDD$$anon$1.<init>(HadoopRDD.scala:207)
    at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:203)
    at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:94)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:96)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:53)
    at org.apache.spark.scheduler.Task.run(Task.scala:108)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:335)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.net.URISyntaxException: Relative path in absolute URI: D:%5Ctmp%5Chadoop%5CHamlet.txt
    at java.net.URI.checkPath(URI.java:1823)
    at java.net.URI.<init>(URI.java:745)
    at org.apache.hadoop.fs.Path.initialize(Path.java:202)
    ... 30 more
 

解决办法：

.setJars(List("D:\\code\\Test\\TestSpark\\out\\artifacts\\TestSpark_jar\\TestSpark.jar"))
收录于
大数据

当前文章被收录于：

大数据
8 篇文章 0 人学习

大数据相关的技术

订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Oracle EBS FA 如何打开关闭的资产会计期间？ 用户“运行折旧”，误勾选为“关闭期间”，还有一部分资产还需要操作报废和调整，希望后台打开关闭的资产会计期。 阅读详情

相关推荐

四阶龙格库塔方法求解一次常微分方程组

四阶龙格库塔方法求解一次常微分方程组一、写在前面二、四阶龙格库塔方法三、使用四阶龙格库塔方法求解一次常微分方程组 一、写在前面 龙格库塔方法是数值求解常微分非线性方程的有利工具，计算精度较高，通过缩短步进距离和增加阶数可以进一步控制误差范围。工程上较为常用的是四阶龙格库塔算法（R-K4)，在计算收敛的情况下往往可以得到比较好的结果。 二、四阶龙格库塔方法 这里简单介绍一下算法的具体实现过程，不做详细的推导。其求解的问题是形如方程： y˙=f(y,t),其中t∈[t0,t1]初值y(t0)=c0 \dot{y

HelloWorldTM的博客 2万+

java.lang.ClassCastException：org.apache.spark.rdd.MapPartitionsRDD

再搭建的spark源码环境上，启动master与worker进程，然后将简单的单词统计代码提交到集群中，产生以下错误： 17/09/04 11:11:47 INFO DAGScheduler: ShuffleMapStage 0 (map at wordCount.scala:42) failed in 6.941 s due to Job aborted due to stage failur

xugen12的专栏 1万+

C#上位机与OneNET云平台数据交互实战——基于HTTP与JSON解析

本文详细介绍了使用C#开发上位机软件与OneNET物联网云平台进行数据交互的实战方法。通过构建HTTP请求、解析JSON数据，实现设备数据的实时获取、界面展示与本地存储，为工业监控与数据采集提供了一套完整高效的C#解决方案。

kkk56的博客 218

在集群上部署hadoop程序出错的问题

出现错误： Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: D:%5Cinput%5Cinputword 将driver类中的代码的文件路径改成参数行的形式 修改为： 并且在maven中进行重新的打包就可以了运行了。 ...

qq_41927934的博客 1146

本地化部署dify,使用Database插件实现dify直连数据库报错No module named ‘MySQLdb‘解决方案

网上查阅各种资料，有说修改/dify-main/docker/volumes/sandbox/dependencies目录下的python-requirements.txt文件，添加了如下两行，试验后无效。，看到有人是其他报错，但是URI配置如下（在mysql后面加了pymysql）,尝试后果真成功了。按照系统提示设置完数据库URI后保存出现错误。在工具市场查询Database,点击后进行授权。最后在该插件的项目地址获得灵感。

qiaoxu1989的博客 4333

Reeds-Shepp曲线公式推导及代码实现-第二部分（共三部分）

文章目录2. Reeds-Shepp求解2.1 L+S+L+L^+S^+L^+L+S+L+2.2 L+S+R+L^+S^+R^+L+S+R+2.3 L+R−L+L^+R^-L^+L+R−L+2.4 L+R−L−L^+R^-L^-L+R−L−2.5 L+R+L−L^+R^+L^-L+R+L−2.6 L+Rβ+Lβ−R−L^+R_{\beta}^+L_{\beta}^-R^-L+Rβ+​Lβ−​R−2.7 L+Rβ−Lβ−R+L^+R_{\beta}^-L_{\beta}^-R^+L+Rβ−​Lβ−​R+2.8

jianmo的博客 1212

spark Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Re

在windows上运行spark2.0的ml算法报错： Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:F:/program/MyPrograms/spark-warehouse 错误位置

Dillon2015的博客 4501

【目标跟踪】基于Kalman滤波实现无人机运动轨迹跟踪附matlab代码

1 简介 在近代控制中,需要对某一特定的运动目标进行跟踪监测,并需要对其下一时间的运动位置,运动方向,速度等信息进行预先估算,才能达到对目标的即时控制.本文简要讨论了用卡尔曼滤波算法对单个目标航迹进行预测,并借助于Matlab仿真工具,对实验的效果进行评估. 2 部分代码 clc; close all; %initial state xo=25; vox=2; %Observations **** % X-Direction Calcula

qq_59747472的博客 4731

完美解决 Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/

windows下使用intellij 开发 spark mllib 程序 发现如下错误。 var spark=SparkSession.builder().master("local").appName("test").getOrCreate() 运行时报错： 6/08/11 15:39:20 INFO SharedState: Warehouse path is 'file:D:\de...

zhangjunli的博客 4876

AgentScope 2.0 扩展开发完全指南：从中间件到模型适配器的深度实践

本文系统讲解 AgentScope 2.0 框架的五大扩展机制，涵盖中间件系统的洋葱模型与钩子设计、ChatModelBase 基类与多供应商适配器开发、工作空间（本地/Docker/E2B）的抽象接口与生命周期管理、凭据工厂与 MCP 协议集成、以及工具协议与存储后端扩展。文中提供完整的架构图、代码示例与故障排查指南，帮助开发者快速掌握 AgentScope 的插件化扩展体系。

program哲学 295

【红绿灯识别】基于计算机视觉实现道路信号灯检测识别系统附Matlab代码

随着自动驾驶技术的快速发展，对道路交通信号灯的检测识别技术也提出了更高的要求。本文提出了一种基于计算机视觉的道路信号灯检测识别系统，该系统能够准确地检测和识别道路交通信号灯，并输出信号灯的颜色信息。该系统采用深度学习方法，利用卷积神经网络（CNN）对道路交通信号灯进行检测和识别。实验结果表明，该系统能够在复杂的环境中准确地检测和识别道路交通信号灯，具有较高的实用价值。道路交通信号灯是道路交通管理的重要组成部分，它能够有效地组织交通，提高道路通行效率，保障交通安全。

qq_59747472的博客 339

java.net.URISyntaxException: Relative path in absolute URI: file:H:/Work_Space/idea/Jieba_kryo/spark

在idea上本地调试spark出错如下： Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:H:/Work_Space/idea/Jieba_kryo/spark-warehouse ...

神罗天征 839

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/

Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/ 这个错误，解决方法（道理都是一样的，就是方式有点区别）： 1、 2、

weixin_40583191的博客 1383

WINCC7.3破解文件

WINCC7.3硬件够破解文件，有需要的下载！WINCC7.3硬件够破解文件，有需要的下载！

假人有限元模型

假人模型，车辆碰撞假人有限元模型，适合做乘员安全的研究者利用

java.net.URISyntaxException: Relative path in absolute URI: file:**/spark-warehouse

最近学习Spark，尝试连接数据库的时候一个例子一直报一个错，说是Spark-warehouse路径有问题（都不知道Spark-warehouse这玩意儿是啥） 一开始main下的代码是这样的 val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("readFrom_toMySQL") val sc: SparkContext = new SparkContext(sparkConf) 报错java.

qq_44735442的博客 739

java.net.URISyntaxException: Relative path in absolute URI

 I was able to do some digging around in the latest Spark documentation, and I notice they have a new configuration setting that I hadn't noticed before: spark.sql.warehouse.dir

huobanjishijian的专栏 4402

spark 2.0 遇到java.net.URISyntaxException: Relative path in absolute URI

spark-warehouse 默认设置到tomcat的bin目录下，用来存储Hive等数据源的元数据 因此需要设置spark.sql.warehouse.dir这个属性 后面这个地址可以随意设置 报错截图：

yanlixin_2015的博客 2056

Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/spark-spark-warehouse

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

lichao_ustc的专栏 3444

Spark2.0的Caused by: java.net.URISyntaxException: Relative path in absolute URI: file错误

在使用spark2.0的时候遇到如下错误： 16/09/21 14:12:22 INFO SharedState: Warehouse path is 'file:E:\scalacode_v2\Spark2Pro/spark-warehouse'. Exception in thread "main" java.lang.IllegalArgumentException: java.net.

BrotherDong90的专栏 4236

Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/SparkFaultBench/spark-

错误： Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/SparkFaultBench/spark-warehouse 我产生这种错误的原因是，在本地使用idea进行测试sparksql，结果运行main方法出现这个错误。 解决办法： 在conf中设置 参数： conf.set("spark.sql.warehouse.dir","file:///") 解决了上述问题。 ...

weixin_40583191的博客 570

Spark代码调试遇到的错误Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:

其实关键就在这一句： Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:E:/spark/GPSline/spark-warehouse 事实上我的本地并没有这个文件夹，所以就需要添加一个配置spark.sql.warehouse.dir，如果不添加上该配置，默认是找的user.dir下面的目录。 val spark = SparkSession.builder().appNa

charKim的博客 7400

Why does Spark report “java.net.URISyntaxException: Relative path in absolute URI” when working with

http://stackoverflow.com/questions/38940312/why-does-spark-report-java-net-urisyntaxexception-relative-path-in-absolute-ur   It's the SPARK-15565 issue in Spark 2.0 on Windows with a s

zhangxl0113的博客 436

PySpark 读写 AWS S3 生产级配置与避坑指南

Apache Spark 通过 Hadoop FileSystem 接口与对象存储交互，其中 s3a 协议是当前唯一支持完整目录语义、分片上传和最终一致性校验的生产就绪方案。其底层依赖 aws-java-sdk-bundle 与 hadoop-aws 的严格版本协同，任何不匹配都可能引发 NoSuchMethodError 或元数据不一致。认证环节需优先采用 IAM Role（InstanceProfileCredentialsProvider），规避密钥硬编码与权限泄露风险；而性能瓶颈80%源于 LIST

weixin_34166472的博客 428

Relative path in absolute URI: ‪

运行的时候出现了这个，原因是我是直接找到文件的属性然后粘贴复制的路径 其实这个路径有问题，就是说这个路径的C:…的C前边还有个东西，如果按BackSpace会发现光标没有移动，但此时删掉了一个东西，删掉之后再用这个路径就没问题了。 ...

qq_42636010的博客 2606

hadoop集群运行模式需要注意的几点

以上文单词计数为例，要将上文的本地运行模式改为集群运行模式，只需要如下三步： （1）第一步：将程序更改输入和输出的路径 （2）第二步：打jar包 将jar包上传到任意一台的linux上面去 （3）第三步：运行jar包 yarn jar xxxx.jar 类完全路径input路径 output路径 第一步：将程序更改输入和输出的路径 将run方法中的本地运行模式的代码改为如下：...

fengge18306的博客 595

java relative path_Hive 启动报错java.net.URISyntaxException: Relative path in absolute URI 解决方法...

[hadoop@hadoopMaster ~]$ hiveSLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J: See http://www.slf4j.org/codes.html#Sta...

weixin_39622178的博客 757

Hadoop打包成jar包在集群上运行时出现的各种问题以及解决方案

之前将eclipse下编好的mapreduce代码放到集群上面跑，发现速度很慢，namenode节点的cpu和内存使用率很低，datanode节点基本上处于没有运行的状态，然后通过查看hadoop-etc-hadoop下面的配置文件，发现mapreduce-site.xml文件下面的mapreduce.framework.name名字中framework少了一个字母e，导致集群一直运行在伪分布模式...

weixin_30306905的博客 1258
上一篇： null\bin\winutils.exe idea
下一篇： 2020-12-04
点赞 0
评论 0
书签 书签 0
快乐的码农一枚
快乐的码农一枚
博客等级 码龄19年 20粉丝 235原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值