hadoop可能会遇到的问题

最新推荐文章于 2024-09-21 18:19:09 发布

费克纽斯-耐克斯特

最新推荐文章于 2024-09-21 18:19:09 发布

阅读量187

点赞数

分类专栏：笔记

本文链接：https://blog.youkuaiyun.com/fakenews_next/article/details/118094494

版权

笔记专栏收录该内容

22 篇文章

订阅专栏

本文总结了在OracleVMVirtualBox中安装Ubuntu集群时遇到的问题，包括IP地址变化、节点间通信故障、Hadoop进程缺失、命令找不到、DataNode启动失败以及端口不通等。解决方案涉及修改IP配置、检查主机映射、核对配置文件、更新PATH变量、重新初始化Hadoop和关闭防火墙。这些步骤对于成功构建和运行Hadoop集群至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装集群所遇到的问题
1 在Oracle VM VirtualBox安装ubantu集群式时每次重启IP地址都会改变
可通过命令修改各个节点上虚拟机的IP地址。

2 节点间ping连接超时
输入sudo vim /etc/hosts查看映射关系是否正确

3 开启集群后输入jps缺少进程
查看5个配置文件：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
是否有地方未与虚拟机配置同步

4 找不到start-dfs.sh等命令
检查路径是否配置出错
首先输入
vim ~/.bashrc
加入一行
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
在这里插入图片描述
配置PATH变量
保存后执行source ~/.bashrc使配置生效

5 Datanote无法正常启动
重新安装并初始化
cd /usr/local/hadoop
./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启

6.ping 得通但 telnet 端口不通， DataNode 启动了，但 Live datanodes 为 0
防火墙未关闭，用是 CentOS 7，需通过如下命令关闭：
systemctl stop firewalld.service # 关闭firewall
systemctl disable firewalld.service # 禁止firewall开机启动