Hadoop安装遇到的问题

最新推荐文章于 2023-07-06 22:52:44 发布

原创最新推荐文章于 2023-07-06 22:52:44 发布 · 2.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文介绍了在部署Hadoop集群过程中遇到的问题及其解决方法，包括资源管理器启动失败、日志文件移动错误及Web UI界面无法打开等问题，并提供了详细的排查步骤与解决方案。

问题1：

[liushuo@hadoop103 ~]$ yarn --daemon start resourcemanager
ERROR: Cannot set priority of resourcemanager process 4145

解决方法：

思路一：查看集群机器的ssh是否都已经互相打通，打通集群机器的ssh免密登录

思路二：查看配置文件的环境变量是否正确，配置一下环境变量
问题2：

使用start-dfs.sh直接启动集群出现以下问题：
localhost: mv: 无法将"/opt/module/hadoop-3.1.3/logs/hadoop-liushuo-datanode-hadoop102.out.2" 移动至"/opt/module/hadoop-3.1.3/logs/hadoop-liushuo-datanode-hadoop102.out.3": 没有那个文件或目录
localhost: mv: 无法获取"/opt/module/hadoop-3.1.3/logs/hadoop-liushuo-datanode-hadoop102.out.1" 的文件状态(stat): 没有那个文件或目录
localhost: mv: 无法获取"/opt/module/hadoop-3.1.3/logs/hadoop-liushuo-datanode-hadoop102.out" 的文件状态(stat): 没有那个文件或目录
删除/opt/module/hadoop-3.1.3/etc/hadoop下的workers的localhost即可
记得保证集群的机器的
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
配置文件的一致性

问题3:hadoop安装的时候进程都正常启动了,但是webui界面打不开