Hadoop最新版安装以及踩坑

最新推荐文章于 2025-05-21 09:55:55 发布

小炮车

最新推荐文章于 2025-05-21 09:55:55 发布

阅读量278

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/SwjtuPC/article/details/112846243

本文介绍了Hadoop集群的搭建步骤，并针对搭建过程中常见的问题提供了详细的解决方案，包括ResourceManager和NodeManager缺失、datanode启动失败及网页端口变更等问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大致步骤同
https://my.oschina.net/langwanghuangshifu/blog/2231251
其中配置从机的slave文件变成了workers文件
遇到的bug
1.启动的时候主机无ResourceManager和NodeManager
解决：
直接下载activation-1.1.1.jar到lib目录下，或者本地上传到${HADOOP_HOME}/share/hadoop/yarn/lib目录下后重新启动start-yarn.sh
即可

cd ${HADOOP_HOME}/share/hadoop/yarn/lib
wget https://repo1.maven.org/maven2/javax/activation/activation/1.1.1/activation-1.1.1.jar

参照：https://blog.youkuaiyun.com/tjcyjd/article/details/105631639
2.Hadoop启动时master节点上没有datanode的解决办法
直接删除掉dfs文件夹中name和data文件夹里的所有内容（rm -r 命令），重启。
出现该问题的原因:
在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。
参考：
http://blog.sina.com.cn/s/blog_768df4d70102yqm3.html
3.50070网页打不开
最新版的端口为9870
感想：最新版bug又多，回答的人又少，天坑，以后再装最新版我就是🐶