Hadoop入门常见错误及解决方案

最新推荐文章于 2023-10-23 22:41:50 发布

原创

最新推荐文章于 2023-10-23 22:41:50 发布 · 1.6k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #大数据

本文档列举了Hadoop集群运行中遇到的一些常见问题，包括ResourceManager连接失败、用户权限问题、主机名不识别、DataNode和NameNode冲突以及HDFS Web端删除文件权限不足等，并提供了详细的解决步骤，如关闭防火墙、统一启动用户、配置主机名映射、清理进程缓存、修改配置文件以及设置HDFS静态用户等。确保集群稳定运行的关键在于正确配置和管理各个组件。

文章目录

常见错误及解决方案

常见错误及解决方案

ResourceManager连接失败

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

可能原因
1.防火墙没关闭
2.没有启动YARN

root用户和ranan用户两个用户启动集群不统一

一般使用ranan用户启动集群，最好不要在root上启动集群。

不识别主机名

java.net.UnknownHostException: hadoop102: hadoop102 
        at 
java.net.InetAddress.getLocalHost(InetAddress.java:1475) 
        at 
org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(Job
Submitter.java:146) 
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) 
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) 
        at  java.security.AccessController.doPrivileged(Native 
Method) 
at javax.security.auth.Subject.doAs(Subject.java:415)

可能原因
1.主机名称映射没有配置
在/etc/hosts 文件中添加 192.168.10.102 hadoop1