: File does not exist /user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.0-mr-framework.tar.gz

最新推荐文章于 2024-08-14 11:53:48 发布

原创最新推荐文章于 2024-08-14 11:53:48 发布 · 1.4k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #mapreduce #yarn

在Linux环境中尝试运行WordCount程序时遇到了'FileNotFoundException'，错误信息提示hdfs路径下的文件不存在。通过访问CM页面，进入YARN服务并重新运行任务，问题得到了解决。该问题可能是由于文件路径不正确或者HDFS服务短暂故障导致。

linux 系统运行一个wordCount程序。

报错信息：

Exception in thread "main" java.io.FileNotFoundException: File does not exist: hdfs:/********:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.0-mr-framework.tar.gz

前往CM 页面，进入yarn 服务，如图点击，重新运行，就成功了。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Axel_Fr

关注关注

3
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

File does not exist: /user/anonymous/.staging/job_1628851608378_6064/报错问题解决

石榴姐yyds

08-16

2028

user/admin/.staging/job_1571397171638_0001/job_1571397171638_0001_1.jhist 所以为什么没有下发，这里面jhist，只是被引发的错误，它还不是根本的错误。看到上面错误，我们就可以判断，这是网络问题，然而网络无非是ip地址，防火墙，端口，hosts等。我们正常的hosts是这样的。在回头复盘想想，我们找不到jhist，跟我们的网络问题二者是很难找到关联的，所以大家在遇到问题的时候，一定多排查和思考，而不是看到一个错误，就以为是它的问题。

java.io.FileNotFoundException: File does not exist: hdfs://xxx

weixin_44500374的博客

01-27

8774

一、产生问题背景我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错： Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment. Diagnostics from YARN: Application appl

参与评论您还未登录，请先登录后发表或查看评论

FileNotFoundException: ...3.0.0-cdh6.0.0-mr-framework.tar.gz

Sunshine

07-21

2618

注：S201是集群的Master节点描述过程：在CDH集群管理页面依次启动zookeeper、yarn、hdfs、spark、hive master节点上，root用户进入以下操作： hive hive> show databases; hive> use default; hive> create table student(id int,name s...

CDH6.2.0最全安装包

04-07

CDH6.2.0最全安装包，包括管理服务以及客户端软件，还包括mysql5.7的安装包。

hive报错

weixin_43994052的博客

09-27

284

File does not exist: hdfs://hadoop01:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framework.tar.gz

CDH中使用Hive进行条件查询时，出现找不到3.0.0-cdh6.2.0-mr-framework.tar.gz

Jecky的博客

10-22

539

解决办法完美解决

File does not exist: hdfs://xxx:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framewo

前方的路在刚开始

08-06

1216

先用cdh安装yarn的mapredce的jar,然后在看看是不是时间问题，原因是0.5秒同步一次心跳，我其中一台节点，是在其他地方，所以网速不好。

CDH Hive执行失败FileNotFoundException: File does not exist mr-framework.tar.gz

大数据实验室

01-23

1573

报错信息如下： ERROR : Job Submission failed with exception 'java.io.FileNotFoundException(File does not exist: hdfs://cdh6-slave1:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framework.tar.gz)' java.io.FileNotFoundException: File does not exist: hdfs

安装CDH出现file /opt/cloudera/parcels/.flood/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel...does not exist

最新发布

TU____TU的博客

08-14

434

CDH报错File does not exist: hdfs://hadoop01:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.1-mr-framewo

RPC框架与MR框架

Even710的博客

12-11

300

手写RPC框架客户端与NameNode通信的RPC原理，本篇手写RPC框架模拟客户端获取指定路径的元数据。 hdfs读写文件机制：https://blog.csdn.net/weixin_37581297/article/details/84633121 第一步，pom.xml &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.apache.hadoop...

spark2跑批File does not existhdfsnameserviceluserxxx

LvJinYang的博客

05-10

744

spark2跑批File does not exist:hdfs://nameservicel/user/xxx/.sparkStaging/aoolication_XXX/spark_conf.zip 解决： spark.yarn.preserve.staging.files=true

CAJ文件报错提示“file does not exist”之类如何解决

tfqw_lingtian的博客

01-27

3197

CAJ阅读器提示文件不存在或不能正常访问，可以通过”取消使用unicode UTF-8提供全球语言支持“来解决

raise IOError('The file is not exist！')

止语的博客

05-19

1万+

文件的读取路径通常有三种，如下：if __name__ == '__main__': #y = r"‪F:\py_test\Framework\config\config.yaml" #1 #y = "‪F:/py_test/Framework/config/config.yaml" #2 #y = 'config.yaml' ...

java.io.FileNotFoundException: File does not exist:

weixin_42022134的博客

04-18

5907

Sqoop从mysql导入文件到hdfs 报错 ERROR tool.ImportTool: Import failed: java.io.FileNotFoundException: File does not exist: hdfs://cdh1.host.com:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.1-mr-framework...

Tomcat的异常之 java.lang.IllegalArgumentException: Document base

ywj_316的博客

10-29

348

明明已经将某个web应用从tomcat下的webapps下移除了，为什么还会抛这样的异常呢？ java.lang.IllegalArgumentException: Document base *** does not exist or is not a readable directory at org.apache.naming.resources.FileDirContext.setDo...

总结几个提示“文件不存在”的解决办法

u011068838的专栏

10-21

1万+

总会遇到这样的情况，文件分明存在，却报错提示“no such file”。列出我遇到的情况的解决办法： ①文件格式不对。在linux下运行的脚本文件最好在linux环境下编辑。如果是在windows环境下编辑的，每行的行末会出现一个不识别的字符，在linux环境下打开删掉它即可。 ②头路径不正确或未添加。如果要包含的头文件不在当前目录下或系统默认搜索路径下则需添加编译选项-I。-I后直接写上头

MapReduce文件读写时文件找不到异常

Flower Sea

11-12

802

遇到的问题：读取某个文件内容将其输出到另一个文件时，提示文件不存在。（博主当时文件是已经创建出来的）解决办法：因为当前用户对盘符的操作权限不够，所以需要修改权限. 1.右击当前文件所属的盘符,点击属性 2.点击安全,选中你当前登录的用户,点击编辑修改权限就好了。程序重新执行结果： ...

tomcat启动报Document base文件路径does not exist or is not a readable directory错误解决方案

m0_37954004的博客

05-16

8883

java.lang.IllegalArgumentException: Document base D:\tools\apache-tomcat-7.0.42\webapps\tools\source\JavaEESource\shiro_test\src\main\webapp does not exist or is not a readable directory at org.apach...

java.io.FileNotFoundException: File does not exist: hdfs://master:8020/spark-logs

07-12

您好！对于您提到的异常 `java.io.FileNotFoundException: File does not exist: hdfs://master:8020/spark-logs`，这通常意味着您的代码尝试访问一个在 Hadoop 分布式文件系统（HDFS）上不存在的文件。请确保您的代码使用正确的 HDFS 文件路径，并且文件确实存在于该路径下。您可以通过以下方法来验证： 1. 使用 Hadoop 命令行界面（CLI）或 Hadoop web 界面来确认文件是否存在。例如，使用以下命令查看文件是否存在： ```shell hadoop fs -ls hdfs://master:8020/spark-logs ``` 如果文件存在，命令将显示文件的详细信息；如果文件不存在，则会显示错误消息。 2. 如果您确定文件存在于 HDFS 中，请确保代码中使用的 HDFS URI 和端口号是正确的。在您的异常信息中，URI 是 `hdfs://master:8020`，请确保 `master` 是您 Hadoop 集群中正确的主机名或 IP 地址，并且 `8020` 是正确的 HDFS 端口号。如果以上步骤都没有解决问题，请提供更多关于您的环境和代码的详细信息，以便我能够更好地帮助您解决问题。