cloudera manager中部分nodemanager无法启动报错java.io.FileNotFoundException: /tmp/Jetty_0_0_0_0_43554_mapreduc

最新推荐文章于 2024-04-19 14:52:00 发布
原创 最新推荐文章于 2024-04-19 14:52:00 发布 · 604 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#CDH #nodemanager

本文解决了一个在Hadoop集群中遇到的问题，即NodeManager所在机器的/tmp目录权限设置不当导致的FileNotFoundException。详细介绍了错误原因在于/tmp目录的权限为755而非777，并提供了解决方案：通过执行chmod命令将权限更改为777。

java.io.FileNotFoundException: /tmp/Jetty_0_0_0_0_43554_mapreduce____ljbmlg/webapp/webapps/mapreduce/.keep (No such file or directory)

原因是nodemanager所在机器的/tmp目录的权限是755，而不是777
执行如下命令即可:chmod -R 777 tmp/

Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog
zhengzaifeidelushang的博客
11-09 3793
Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog 启动Spark报错是因为HDFS上没有sparklog目录，在HDFS上新建立sparklog目录后，在启动Spark就能正常启动。 一、Spark开启日志聚合功能，将Spark应用程序的运行信息写入指定目录hdfs://bigdata1:8020/sparklog vim /moudle/spark-3.0.1/conf/s
【Flink】 java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/ByteArrayDeserializer
一杯咖啡半杯糖的博客
12-13 3020
自研flinsql提交平台，在服务器上新安装了一个flink客户端，准备提交flinksql到yarn，执行测试的时候报错 /data/flink/flink-1.13.3/bin/flink run -p 1 -ynm flink@547116966402719744 -yd -m yarn-cluster -yqu root.default -c com.huize.beidou.realtime.streaming.core.JobApplication /home/it/beidou_
NodeManager起不来
weixin_30363981的博客
03-18 296
NodeManager无法启动，解除授权，重新授权！ CDH需要注意的表： SELECT * FROM `ROLES` SELECT * FROM CONFIGS WHERE attr LIKE '%exclude%'; 转载于:https://www.cnblogs.com/thinkCoding/p/4346901.html...
CDH修改静态资源池配置,NodeManager重启失败问题
hcq_lxq的博客
11-30 1751
问题描述： 修改静态资源池配置的时候，重启整个CM之后，突然发现一个YARN中的NodeManager重启失败，问题NodeManager服务不能重启也不能停止。通过链接发现资源配置有一台还是以前的配置没有变化; http://hadoopip:8088/cluster/nodes 解决方案： 1、重启有问题的agent， systemctl restart cloudera-scm-agent 2、在元数据库的CM用户下查询roles，查找role_type不是RUNNING的数据，更新这条数...
HA+联邦机制下的MR任务报错 java.io.FileNotFoundException: /tmp
qq_36744284的博客
10-13 349
HA+联邦机制下的MR任务报错 java.io.FileNotFoundException: /tmp hive (default)> select * from emp order by sal; Query ID = root_20201013104424_aa624cbf-44fb-4793-b297-5ff2a0f70b45 Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile
jetty8上传文件报错排查Processing of multipart/form-data request failed./tmp xxxx (No such file or directory)
ccheat的博客
04-19 639
服务器正常运行项目正在使用，突然用户上传文件报错，并且这种情况不是第一次了，所以下定决心排查问题，项目使用的容器是jetty8，脚本都是之前历史遗留的比较乱，这次一起看看。
java.nio.file.NoSuchFileException: /tmp/undertowXXXXXX报错问题记录解决方案
qq_45721148的博客
04-17 1614
java.nio.file.NoSuchFileException: /tmp/undertowXXXXXX报错问题记录解决方案。步骤一，spring微服务的配置文件添加。步骤二，修改dockerfile。步骤三，修改创建临时文件的代码。
phoenix 报错 java.lang.NoClassDefFoundError: org/apache/htrace/Trace 解决方法
随风随想
06-17 3029
在使用cdh6.0时，由于需要对表中字段建立索引，需要引入phoenix，但cloudera官方并没有出配套的phoenix软件，需要自己进行配置。 cdh6安装配置phoenix参考教程：CDH的 Phoenix、hbase操作 按照上述教程配置完phoenix后，启动报错：Error: org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoCl
flume启动报错 java.lang.NoClassDefFoundError: org/htrace/Trace
Li_Jian_Hui_的博客
05-10 5451
我在启动Flume对hdfs写入时报如下错误: ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:447) - process failed java.lang.NoClassDefFoundError: org/htrace/Trace at org.apache.hadoop.ipc.ProtobufRpcEngine$Invok
sqoop报错 java.lang.Exception: java.io.IOException: java.lang.ClassNotFoundException: covidchina
qq_48959845的博客
11-24 1930
项目场景： 从hdfs导入数据到mysql 问题描述： java.lang.Exception: java.io.IOException: java.lang.ClassNotFoundException: covidchina at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492) at org.apache.hadoop.mapred.LocalJobRunner$Job.run(Loc
MultipartFile做文件上传报FileNotFoundException
天涯君落
10-29 2974
笔者遇到的问题RT， 当用postman测试的时候，遇到 报java.io.IOException: java.io.FileNotFoundException: /tmp/tomcat.273391201583741210.8080/work/Tomcat/localhost/ROOT/tmp/source/IMG_20160129_132623 这种错误。 因为当初是通过单元测试的，但是用postman测试接口的时候出现的问题，所以百思不得其解，查询百度后，在和同事讨论后，并且debug后，发现了
FileNotFoundException /tmp/tomcat.26341039
Erwinl的博客
05-09 1207
项目运行时候报文件找不到，看了下日志是tomcat.xxxxxx目录没有，是在 /tmp/tomcat.xxx，这个目录系统会按配置清理掉 /tmp 是清理目录超过10天的内容 /var/tmp 是30天的 解决方法 1、重启项目就会重建目录，过段时间又会出现相同错误 2、两种方法改临时目录 一、 项目配置文件spring.http.multipart.location = 自定义目录 二、启动时增加参数-Djava.io.tmpdir=自定义目录 3、修改系统清理配置 给/usr/lib/tmpfile
遇到的情况---hadoop集群-- NodeManager启动不起来--java.io.FileNotFoundException
直到世界的尽头
03-02 2555
情况 hadoop集群nodemanager启动不起来，查看输出的日志报错 java.io.FileNotFoundException: /hadoop/dfs1/log/hadoop-yarn/hadoop-cmf-yarn-NODEMANAGER-host251.log.out (Read-only file system) 管理后台点击查看 NodeManager的日志文件，角色日志文...
jetty 隔几天凌晨定时出现404错误（linux /tmp/)
weixin_34293911的博客
02-19 446
为什么80%的码农都做不了架构师？>>> ...
jetty介绍
乾坤未定，你我皆是黑马
05-23 2515
jetty是什么 Jetty 是一个开源的servlet容器。 它为基于Java的web容器，例如JSP和servlet提供运行环境。 Jetty是使用Java语言编写的，它的API以一组JAR包的形式发布。开发人员可以将Jetty容器实例化成一个对象，可以迅速为一些独立运行（stand-alone）的Java应用提供网络和web连接。 可以在jetty中配置什么 配置服务 Server实例是Jetty服务的重要组成部分，它为其它Jetty组件提供服务和生命周期管理。 Handlers：一个Jetty服务器
SpringBoot 上传文件到linux服务器 异常java.io.FileNotFoundException: /tmp/tomcat.50898……解决方案
weixin_43281120的博客
12-11 3608
我的项目在本地是可以正常跑的，一放到服务器上其他功能都正常，就上传功能报错 一开始我是把上传图片的路径放到webapp里的，但是一直报这个错误 java.io.IOException: java.io.FileNotFoundException: /tmp/tomcat.5089835798184465073.8081/work/Tomcat/localhost/ROOT/ 之后把路径改成了放到r...
Mac下Log4j配置文件使用环境变量时Jetty启动报java.io.FileNotFoundException Permission denied
chuangxin的专栏
07-03 4536
    苹果Mac电脑，Java web项目用Eclipse Jetty插件启动时报log4j:ERROR setFile(null,true) call failed，java.io.FileNotFoundException Permission denied错误，具体如下：log4j:ERROR setFile(null,true) call failed. java.io.FileNotF...
Centos7 Jetty7 项目部署 java.io.FileNotFoundException
weixin_33969116的博客
10-10 451
2019独角兽企业重金招聘Python工程师标准>>> ...
Caused by: java.io.FileNotFoundException: {{CMF_CONF_DIR}}/redaction-rules.json
最新发布
05-27
### Java中因找不到 `redaction-rules.json` 文件导致的 `FileNotFoundException` 的解决方案 当遇到 `java.io.FileNotFoundException: redaction-rules.json` 错误时，通常是因为程序尝试加载指定路径下的文件失败。以下是可能的原因以及对应的解决办法： #### 1. **确认文件路径** 确保 `redaction-rules.json` 文件存在于预期的位置，并且其路径被正确设置到环境变量 `CMF_CONF_DIR` 中。如果未正确配置该目录，则可能导致文件无法找到。 可以通过以下方式验证路径是否有效： ```bash echo $CMF_CONF_DIR ls -l ${CMF_CONF_DIR}/redaction-rules.json ``` 如果文件不存在于指定位置，需将其复制至对应目录[^1]。 #### 2. **检查类加载器行为** Java 应用通过类加载器读取资源文件。对于位于 classpath 外部的文件，应使用绝对路径访问；而对于嵌套在 JAR 或其他包中的文件，则需要通过 `ClassLoader.getResourceAsStream()` 方法获取流对象。 示例代码如下： ```java // 使用 ClassLoader 加载资源文件 InputStream inputStream = getClass().getClassLoader() .getResourceAsStream("redaction-rules.json"); if (inputStream == null) { throw new FileNotFoundException("Resource file not found!"); } ``` 此方法适用于将 `redaction-rules.json` 放置在项目的 resources 目录下并打包成 JAR 文件的情况[^2]。 #### 3. **调整 CMF_CONF_DIR 配置** 如果运行环境中依赖特定环境变量来定位配置文件夹（如 CDH/Cloudera Manager），则需要确保这些变量已被正确定义。例如，在 CentOS 系统上可以编辑 `/etc/profile` 并追加相应声明： ```bash export CMF_CONF_DIR=/path/to/conf/directory source /etc/profile ``` 随后重启服务使更改生效[^3]。 #### 4. **排查权限问题** 即使文件存在目标地址处，也可能由于操作系统级别的权限不足而阻止应用程序对其进行操作。因此建议核查相关用户的访问许可情况。 执行命令查看当前用户是否有足够的权利打开这个 JSON 文档： ```bash stat -c "%a %n" ${CMF_CONF_DIR}/redaction-rules.json chmod u+rwx ${CMF_CONF_DIR}/redaction-rules.json ``` 以上步骤能够帮助诊断大多数由缺失或不可达引起的异常状况。 --- ### 总结 综上所述，针对 `java.io.FileNotFoundException: redaction-rules.json` 这一错误现象，可以从以下几个方面入手解决问题：一是核实实际存储地点与期望一致；二是依据实际情况选用合适的 API 来检索所需数据源；三是合理设定必要的全局参数以便支持整个流程顺利开展；四是注意潜在的安全隐患比如受限的操作特权等问题。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值