Spark读取本地文件时报错：java.io.FileNotFountException:file doesn't exist

最新推荐文章于 2021-10-08 16:19:58 发布
最新推荐文章于 2021-10-08 16:19:58 发布
阅读量3.8k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/intersting/article/details/82979656
本文探讨了在Pyspark集群环境下遇到的文件读取问题，并提供了两种解决方案：一是确保每个Worker节点上都有所需数据文件；二是将数据文件上传至HDFS实现共享。这对于理解并解决Pyspark在分布式环境中的数据访问问题是十分关键的。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在确认文件存在的情况下，出现这个问题的原因是：在集群中运行的pyspark。例如使用命令bin/pyspark --master yarn启动pyspark

解决方式1：让每个Worker节点的相应位置都有要读取的数据文件。

解决方式2：直接将数据文件上传到hdfs，达到数据共享。

Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog
zhengzaifeidelushang的博客
11-09 3705
Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog 启动Spark报错是因为HDFS上没有sparklog目录，在HDFS上新建立sparklog目录后，在启动Spark就能正常启动。 一、Spark开启日志聚合功能，将Spark应用程序的运行信息写入指定目录hdfs://bigdata1:8020/sparklog vim /moudle/spark-3.0.1/conf/s
第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMonitor电商广告点击综合案例实战(详细内幕版本)
大模型与Agent智能体
06-05 1万+
第114课:Spark Streaming电商广告点击综合案例实战(测试版本) /* 王家林老师授课http://weibo.com/ilovepains  每天晚上20：00YY频道现场授课频道68917580*/ 综合案例的实战我们分步进行： 1.Mysql 中建立表 ：
spark-01_java.io.FileNotFoundException_File does not exist_hdfs_xxx
Welcome to Feng.Chang's Blog
12-03 2681
文章目录refs一、错误日志二、日志详情三、运行脚本以及代码3.1、运行脚本3.2、代码片段四、问题排查及原因五、注意事项 refs https://js.dlolb.ml/-----https://stackoverflow.com/questions/47157793/spark-runs-in-local-but-cant-find-file-when-running-in-yarn ht...
Caused by java.io.FileNotFoundException File filetmpspark-events does not exist
优快云 精品推荐
08-19 2227
Caused by: java.io.FileNotFoundException: File file:/tmp/spark-events does not exist Exception in thread "main" java.io.FileNotFoundException: Log directory specified does not exist: file:/tmp/spark-events Did you configure the correct one through spark.hi
java.io.FileNotFoundException: File does not exist:
weixin_42022134的博客
04-18 5854
Sqoop从mysql导入文件到hdfs 报错 ERROR tool.ImportTool: Import failed: java.io.FileNotFoundException: File does not exist: hdfs://cdh1.host.com:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.1-mr-framework...
java.io.FileNotFoundException: File does not exist: hdfs ://sxt/home/sqoop-1.4.6/lib/commons-codec-1
u010023409的博客
11-22 2227
错误显示要去hdfs寻找jar包，但是hdfs上面没有，直接将整个sqoop包上传到hdfs 1.新建home目录 hdfs dfs -mkdir /home 2.上传sqoop到hdfs的home目录下 hdfs dfs -put /home/sqoop-1.4.6 /home/ 3.sqoop import --connect jdbc:mysql://node3/test_db
第4节 hive spark 查询hudi 数据 环境cdh6.3.2
等夏天
10-08 2181
使用hive带where条件查询发生错误 select uid,fullname from member_ro where uid >=0 and uid <20; 发现错误 java.io.IOException: cannot find class org.apache.hudi.hadoop.realtime.HoodieParquetRealtimeInputFormat at org.apache.hadoop.hive.ql.io.CombineHiveInputF
spark 读写 parquet
zhixingheyi_tian的博客
12-10 3229
SQLConf // This is used to set the default data source val DEFAULT_DATA_SOURCE_NAME = buildConf(&quot;spark.sql.sources.default&quot;) .doc(&quot;The default data source to use in input/output.&quot;) .stringCo...
有kerberos认证hbase在spark环境下的使用
ahbbwangpei的博客
04-19 7202
hadoop中计算框架MapReduce中存储到有kerberos的hdfs，由于其内部yarn进行了认证故不需要进行相关的操作，可直接进行读写操作。spark使用有kerberos认证的hbase是一个既麻烦又简单的问题，麻烦的方面是：中文的网站相关的文章很少并且分布只是分散的知识点。官网中给的信息也不够完整，倘若要是使用还是会出现自己采坑的想象。简单的方面是：代码量很少，理解起来也不是很难。本...
大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程、内存管理与分配、部署
黑泽君
05-02 1213
大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程 + Spark 内存管理与分配 + Spark 部署模式
hadoop :java.io.FileNotFoundException: File does not exist:
Data & Analysis
01-30 1万+
点击打开链接转自：http://blog.163.com/silver9886@126/blog/static/35971862201441134010403/   1.用hadoop的eclipse插件下M/R程序的时候，有时候会报 Exception in thread "main" java.lang.IllegalArgumentException: Pathname /D:/had...
java.io.FileNotFoundException: File does not exist: hdfs://mycluster/home/sqoop- 1.4.6/lib/commons-
liyongke89的专栏
04-28 8039
在hadoop的集群中运行sqoop时报错如下： 16/04/28 06:21:41 ERROR tool.ImportTool: Encountered IOException running import job: java.io.FileNotFoundException: File does not exist: hdfs://mycluster/home/sqoop- 1.4.6
java.io.FileNotFoundException: File does not exist: hdfs://mycluster/home/sqoop- 1.4.6/lib/commons-
Data & Analysis
01-30 3553
在hadoop的集群中运行sqoop时报错如下： 16/04/28 06:21:41 ERROR tool.ImportTool: Encountered IOException running import job:  java.io.FileNotFoundException: File does not exist: &lt;span style="color:#ff0000;"&gt;...
java.io.FileNotFoundException: File does not exist: hdfs://xxx
weixin_44500374的博客
01-27 8676
一、产生问题背景 我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错： Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment. Diagnostics from YARN: Application appl
hive在执行任务的时候提示java.io.FileNotFoundException: File does not exist: hdfs://Master:9000/usr/local/apach
热门推荐
xuguokun1986的博客
04-27 1万+
1、错误信息 Number of reduce tasks determined at compile time: 1 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer= In order to limit the maximum num
java.io.FileNotFoundException does not exist.
weixin_40348392的博客
04-27 1万+
    今天碰见了一个问题，代码生成器在test的过程中一直在报错。    java.io.FileNotFoundException     E:\insurance%20controller\2018.04.23\insurance\insurance-business\target\classes\templates\freemarker     does not exist.    这是一...
spark本地提交任务到远程集群报错:file does not exist
Aspirin's Nest
12-12 5322
背景 今天本来想测试一下Spark装到集群以外，远程提交任务试试。但是遇到了一些问题,这里记录一下。 微信公众号：大数据报文 环境 在集群以外提交任务首先要安装Spark客户端，而Spark客户端又依赖Hadoop（当然这里并不是集群，只是把hadoop解压并配置好环境变量）。 安装好以后使用spark-submit命令提交example中的Spark Pi程序到集群： ./spar...
spark集群模式下textFile读取file本地文件报错解决
pengpengsays
11-13 7878
前言 如果在spark-shell中使用textFile(“file://path”)演示，在local模式下是没有问题的，因为毕竟就是在本机运行，读取本地的文件。但是如果spark-shell --master指定spark集群的话，这样运行就会有问题，会报找不到文件的错误。 解决方案 那么解决的方案其实也比较简单，就是在所有的集群节点上相同的path下上传该文件。然后在textFile(“fi...
Caused by: java.lang.reflect.InvocationTargetException: java.lang.reflect.InvocationTargetException: java.lang.RuntimeException: java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command
最新发布
03-15
### Java运行时异常InvocationTargetException及其解决方案 `java.lang.reflect.InvocationTargetException` 是一种常见的反射调用异常，通常表示通过反射机制调用的方法抛出了异常。这种异常的根本原因可能是方法内部逻辑出现了问题，或者外部条件不满足（如权限不足）。以下是针对该问题的具体分析和解决办法。 #### 1. InvocationTargetException 的根本原因 当 `InvocationTargetException` 被抛出时，通常是由于被调用的目标方法本身发生了异常。这些异常可能包括但不限于 `RuntimeException` 或者 `IOException`。因此，在排查此类问题时，需要重点检查目标方法的实现细节以及其依赖的上下文环境[^3]。 #### 2. 文件权限命令错误的原因及解决方式 如果问题是由于尝试获取文件权限而引发的，则需要确认以下几点： - **Android 权限声明** 如果是在 Android 平台上操作 SD 卡中的文件，必须在 `AndroidManifest.xml` 中正确配置读写权限： ```xml <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/> <uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"/> ``` 此外，对于 Android 6.0 及以上版本，还需要动态请求权限[^1]。 - **文件路径合法性验证** 需要确保访问的文件路径有效且存在。可以通过如下代码片段来验证文件是否存在并可读/写： ```java File file = new File("/path/to/file"); if (!file.exists()) { throw new FileNotFoundException("File does not exist."); } ``` - **IO 操作的安全性** 对于涉及 IO 操作的部分，建议使用 try-with-resources 结构以确保资源能够及时释放，从而减少潜在的 `IOException` 发生概率： ```java try (BufferedReader reader = new BufferedReader(new FileReader(file))) { String line; while ((line = reader.readLine()) != null) { System.out.println(line); } } catch (FileNotFoundException e) { System.err.println("File not found: " + e.getMessage()); } catch (IOException e) { System.err.println("Error reading the file: " + e.getMessage()); } ``` #### 3. 关于 JAVA_HOME 环境变量的问题 如果问题发生在 Spark 环境下，并提示未找到 `JAVA_HOME`，则可以按照以下步骤解决问题： - 创建 `/usr/java` 目录，并设置软链接指向实际 JDK 安装位置： ```bash mkdir -p /usr/java ln -s /opt/jdk/jdk1.7.0_79 /usr/java/default ``` - 确认集群节点上的每台机器都已执行上述操作，并重启相关服务以使更改生效[^2]。 #### 4. 综合调试策略 为了更全面地定位问题根源，可以在日志中打印更多上下文信息以便进一步分析。例如： ```java try { Method method = SomeClass.class.getMethod("someMethod", String.class); Object result = method.invoke(null, "testArgument"); } catch (IllegalAccessException | IllegalArgumentException | InvocationTargetException e) { Throwable cause = e.getCause(); if (cause instanceof RuntimeException) { System.err.println("Runtime exception occurred: " + cause.getMessage()); } else if (cause instanceof IOException) { System.err.println("I/O error occurred: " + cause.getMessage()); } } ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值