cloudera manager中部分nodemanager无法启动报错java.io.FileNotFoundException: /tmp/Jetty_0_0_0_0_43554_mapreduc

最新推荐文章于 2024-04-19 14:52:00 发布
原创 最新推荐文章于 2024-04-19 14:52:00 发布 · 604 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#CDH #nodemanager

本文解决了一个在Hadoop集群中遇到的问题，即NodeManager所在机器的/tmp目录权限设置不当导致的FileNotFoundException。详细介绍了错误原因在于/tmp目录的权限为755而非777，并提供了解决方案：通过执行chmod命令将权限更改为777。

java.io.FileNotFoundException: /tmp/Jetty_0_0_0_0_43554_mapreduce____ljbmlg/webapp/webapps/mapreduce/.keep (No such file or directory)

原因是nodemanager所在机器的/tmp目录的权限是755，而不是777
执行如下命令即可:chmod -R 777 tmp/

Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog
zhengzaifeidelushang的博客
11-09 3793
Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog 启动Spark报错是因为HDFS上没有sparklog目录，在HDFS上新建立sparklog目录后，在启动Spark就能正常启动。 一、Spark开启日志聚合功能，将Spark应用程序的运行信息写入指定目录hdfs://bigdata1:8020/sparklog vim /moudle/spark-3.0.1/conf/s
【Flink】 java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/ByteArrayDeserializer
一杯咖啡半杯糖的博客
12-13 3020
自研flinsql提交平台，在服务器上新安装了一个flink客户端，准备提交flinksql到yarn，执行测试的时候报错 /data/flink/flink-1.13.3/bin/flink run -p 1 -ynm flink@547116966402719744 -yd -m yarn-cluster -yqu root.default -c com.huize.beidou.realtime.streaming.core.JobApplication /home/it/beidou_
NodeManager起不来
weixin_30363981的博客
03-18 296
NodeManager无法启动，解除授权，重新授权！ CDH需要注意的表： SELECT * FROM `ROLES` SELECT * FROM CONFIGS WHERE attr LIKE '%exclude%'; 转载于:https://www.cnblogs.com/thinkCoding/p/4346901.html...
CDH修改静态资源池配置,NodeManager重启失败问题
hcq_lxq的博客
11-30 1751
问题描述： 修改静态资源池配置的时候，重启整个CM之后，突然发现一个YARN中的NodeManager重启失败，问题NodeManager服务不能重启也不能停止。通过链接发现资源配置有一台还是以前的配置没有变化; http://hadoopip:8088/cluster/nodes 解决方案： 1、重启有问题的agent， systemctl restart cloudera-scm-agent 2、在元数据库的CM用户下查询roles，查找role_type不是RUNNING的数据，更新这条数...
HA+联邦机制下的MR任务报错 java.io.FileNotFoundException: /tmp
qq_36744284的博客
10-13 349
HA+联邦机制下的MR任务报错 java.io.FileNotFoundException: /tmp hive (default)> select * from emp order by sal; Query ID = root_20201013104424_aa624cbf-44fb-4793-b297-5ff2a0f70b45 Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile
jetty8上传文件报错排查Processing of multipart/form-data request failed./tmp xxxx (No such file or directory)
ccheat的博客
04-19 639
服务器正常运行项目正在使用，突然用户上传文件报错，并且这种情况不是第一次了，所以下定决心排查问题，项目使用的容器是jetty8，脚本都是之前历史遗留的比较乱，这次一起看看。
MultipartFile做文件上传报FileNotFoundException
天涯君落
10-29 2974
笔者遇到的问题RT， 当用postman测试的时候，遇到 报java.io.IOException: java.io.FileNotFoundException: /tmp/tomcat.273391201583741210.8080/work/Tomcat/localhost/ROOT/tmp/source/IMG_20160129_132623 这种错误。 因为当初是通过单元测试的，但是用postman测试接口的时候出现的问题，所以百思不得其解，查询百度后，在和同事讨论后，并且debug后，发现了
phoenix 报错 java.lang.NoClassDefFoundError: org/apache/htrace/Trace 解决方法
随风随想
06-17 3029
在使用cdh6.0时，由于需要对表中字段建立索引，需要引入phoenix，但cloudera官方并没有出配套的phoenix软件，需要自己进行配置。 cdh6安装配置phoenix参考教程：CDH的 Phoenix、hbase操作 按照上述教程配置完phoenix后，启动报错：Error: org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoCl
flume启动报错 java.lang.NoClassDefFoundError: org/htrace/Trace
Li_Jian_Hui_的博客
05-10 5451
我在启动Flume对hdfs写入时报如下错误: ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:447) - process failed java.lang.NoClassDefFoundError: org/htrace/Trace at org.apache.hadoop.ipc.ProtobufRpcEngine$Invok
sqoop报错 java.lang.Exception: java.io.IOException: java.lang.ClassNotFoundException: covidchina
qq_48959845的博客
11-24 1930
项目场景： 从hdfs导入数据到mysql 问题描述： java.lang.Exception: java.io.IOException: java.lang.ClassNotFoundException: covidchina at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492) at org.apache.hadoop.mapred.LocalJobRunner$Job.run(Loc
jetty 隔几天凌晨定时出现404错误（linux /tmp/)
weixin_34293911的博客
02-19 446
为什么80%的码农都做不了架构师？>>> ...
Centos7 Jetty7 项目部署 java.io.FileNotFoundException
weixin_33969116的博客
10-10 451
2019独角兽企业重金招聘Python工程师标准>>> ...
Mac下Log4j配置文件使用环境变量时Jetty启动报java.io.FileNotFoundException Permission denied
chuangxin的专栏
07-03 4536
    苹果Mac电脑，Java web项目用Eclipse Jetty插件启动时报log4j:ERROR setFile(null,true) call failed，java.io.FileNotFoundException Permission denied错误，具体如下：log4j:ERROR setFile(null,true) call failed. java.io.FileNotF...
Jetty使用
WD的博客
08-29 1542
0.何为Jetty Jetty是Eclipse的一个项目，可以提供HTTP客户端，HTTP服务端和Java Servlet容器。 Jetty的下载地址：Jetty https://www.eclipse.org/jetty/download.html 1.Jetty的使用 1-1 添加Jetty的pom依赖 <dependency> <groupId>org...
web服务器绑定0.0.0.0 和 127.0.0.1 的区别
huangxx
06-15 1486
发现在局域网其他人的电脑上浏览我的电脑上的提供的WEB服务的时候，竟然是无法显示，   查找问题，发现是在ECLIPSE里面启动的JETTY服务器绑定的ip地址是127.0.0.1，LOCALHOST可以访问，但是IP地址不能访问，设想会不会是注册表‘restrictanonymous’值的问题，因为前几天刚刚由瑞星防火墙改了这个值，后来又想到会不会是绑定的IP地址的问题，   于是在window...
【原创】大叔经验分享（9）yarn重要配置yarn.nodemanager.local-dirs
weixin_30782331的博客
12-13 1677
yarn中有一个比较重要的配置yarn.nodemanager.local-dirs，如果配置的不好，在饱和状态运行下集群会出现很多问题：1 默认配置${hadoop.tmp.dir}/nm-local-dir，系统盘通常只有几百G，配置在这里会经常报磁盘空间不足的错误；2 配置到其中1个数据盘，比如/data0/，这个数据盘会经常没有响应，或者直接坏掉；3 正确的配置是配置到所有的数据盘，通常是...
使用MultipartFile报错：java.io.IOException: java.io.FileNotFoundException(系统找不到指定的路径。)
热门推荐
qq_37289717的博客
07-30 1万+
使用MultipartFile报错：java.io.IOException: java.io.FileNotFoundException(系统找不到指定的路径。) 今天再使用公司框架遇到一个问题：spring框架MultipartFile上传文件报错。 先说原因：MultipartFile的transferTo()方法会监测传入其中的File对象的路径是否为绝对路径，如果不是绝对路径，会自动拼接a...
java 启动 jetty_jetty启动方式 | 学步园
weixin_27155667的博客
02-21 729
1. 启动Jetty Server：运行命令：java -jar start.jar。2. 为了保证关闭服务的安全，可以设置密码，启动命令：java -DSTOP.PORT=8081 -DSTOP.KEY=123 -jar start.jar，这样Jetty会在启动后监听端口8081，并在下次关闭前验证密码(Key)，如果密码一致，则关闭jetty服务，这样保证了服务的安全。可以开另一个窗口，输入...
Caused by: java.io.FileNotFoundException: {{CMF_CONF_DIR}}/redaction-rules.json
最新发布
05-27
### Java中因找不到 `redaction-rules.json` 文件导致的 `FileNotFoundException` 的解决方案 当遇到 `java.io.FileNotFoundException: redaction-rules.json` 错误时，通常是因为程序尝试加载指定路径下的文件失败。以下是可能的原因以及对应的解决办法： #### 1. **确认文件路径** 确保 `redaction-rules.json` 文件存在于预期的位置，并且其路径被正确设置到环境变量 `CMF_CONF_DIR` 中。如果未正确配置该目录，则可能导致文件无法找到。 可以通过以下方式验证路径是否有效： ```bash echo $CMF_CONF_DIR ls -l ${CMF_CONF_DIR}/redaction-rules.json ``` 如果文件不存在于指定位置，需将其复制至对应目录[^1]。 #### 2. **检查类加载器行为** Java 应用通过类加载器读取资源文件。对于位于 classpath 外部的文件，应使用绝对路径访问；而对于嵌套在 JAR 或其他包中的文件，则需要通过 `ClassLoader.getResourceAsStream()` 方法获取流对象。 示例代码如下： ```java // 使用 ClassLoader 加载资源文件 InputStream inputStream = getClass().getClassLoader() .getResourceAsStream("redaction-rules.json"); if (inputStream == null) { throw new FileNotFoundException("Resource file not found!"); } ``` 此方法适用于将 `redaction-rules.json` 放置在项目的 resources 目录下并打包成 JAR 文件的情况[^2]。 #### 3. **调整 CMF_CONF_DIR 配置** 如果运行环境中依赖特定环境变量来定位配置文件夹（如 CDH/Cloudera Manager），则需要确保这些变量已被正确定义。例如，在 CentOS 系统上可以编辑 `/etc/profile` 并追加相应声明： ```bash export CMF_CONF_DIR=/path/to/conf/directory source /etc/profile ``` 随后重启服务使更改生效[^3]。 #### 4. **排查权限问题** 即使文件存在目标地址处，也可能由于操作系统级别的权限不足而阻止应用程序对其进行操作。因此建议核查相关用户的访问许可情况。 执行命令查看当前用户是否有足够的权利打开这个 JSON 文档： ```bash stat -c "%a %n" ${CMF_CONF_DIR}/redaction-rules.json chmod u+rwx ${CMF_CONF_DIR}/redaction-rules.json ``` 以上步骤能够帮助诊断大多数由缺失或不可达引起的异常状况。 --- ### 总结 综上所述，针对 `java.io.FileNotFoundException: redaction-rules.json` 这一错误现象，可以从以下几个方面入手解决问题：一是核实实际存储地点与期望一致；二是依据实际情况选用合适的 API 来检索所需数据源；三是合理设定必要的全局参数以便支持整个流程顺利开展；四是注意潜在的安全隐患比如受限的操作特权等问题。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值