Hadoop 克隆虚拟机后Datanodes只能显示一个的问题

最新推荐文章于 2024-05-25 00:12:58 发布
最新推荐文章于 2024-05-25 00:12:58 发布
阅读量1.2k 收藏 4
点赞数 2
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yyj135/article/details/89201701
版权

环境：

VMWare 15.0
3台虚拟机Centos 7
Hadoop 2.4.1

从spark2克隆一台虚拟机，然后改名为spark4后做了以下步骤：

1. 更改主机名
vi /etc/hostname

2.修改IP地址

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736  （后面这个数字每台机器可能不一样）
修改内容：
IPADDR=192.168.115.9

3.重启服务
service network restart

然后重启hadoop，在页面：http://spark1:50070/dfshealth.html#tab-datanode

Datanodes始终只有3台datanode，并且spark2与spark4只会出现一台。

原因：

因为是克隆的，/usr/local/data/datanode/current/VERSION文件的storageID、

datanodeUuid完全相同，把克隆后的spark4里面这两个配置随便修改一下，然后

重启datanode服务就可以了：

hadoop-daemon.sh stop datanode
hadoop-daemon.sh start datanode

hadoop集群只有一个datanode启动问题
yijichangkong的专栏
05-02 1万+
之前不懂犯了个低级错误，导致datanode只能启动一个；很是奇怪； 首先，之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode 注：clusterID在/usr/local/hadoop/hdfs/name/current目录下； 解决方案：修改Shadoop1 和 Shadoop2 的data/current目录下的V
Hadoop集群配置，主机50070管理页面只出现一个本机的datanode，从机不显示datanode
Rookie9129的博客
05-24 1925
这里写自定义目录标题博主在学习hadoop的时候，在配置集群时候，使用了三台虚拟机，分别启动datanode后，发现jps可以看见datanode，但在主机的管理页面始终显示主机的datanode，从机的data目录下面也没有VERSION文件，百度了一波，可以试过了大部分方法，最后成功解决了，这边就给大家汇总一下。![在这里插入图片描述](https://img-blog.csdnimg.cn/20200524104431684.png?x-oss-process=image/watermark,type
hadoop datanode只能启动2个
YZJ8819的博客
03-08 913
问题描述： 集群原始组成部分为：Master、Slave1、Slave2后来有添加一台Slave3，配置完相应的文件后，启动hadoop、spark发现只启动了Slave1、Slave3两个datanode，后来停止掉hadoop服务后，再次启动，这次只启动了Slave1、Slave2，jps查看Slave3的进程也没有datanode，但是对于yarn、spark此机器确实有启动对应...
hadoop进程情况正常，50070web网页上datanodes却显示只有一个datanode
wy121125的博客
03-12 2365
如题 我遇到这个问题搜索过很多地方，基本都不正确。 我回到了我整个配置过程的起点 我的虚拟机是这样的，下载好了几个包，然后复制了2份。 然后我发现我的3个虚拟机的网卡的UUID是相同的。 然后我对复制出来的两份虚拟机申请了新的uuid号 参考这里 https://blog.youkuaiyun.com/quintind/article/details/79437838 改掉ifcfg文件里的UUID，格式化h...
克隆方式搭建hadoop集群时，datanode在管理界面始终只能看到一个，而且是随机的一个，并且在上传大文件时会出问题
ygp12345的博客
10-05 584
这个问题困扰了我一晚上，开始我上传了一个670M的文件到HDFS上，但是直接报了如下的错误： java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2266) at org.apache.ha
Hadoop完整搭建过程（三）：完全分布模式（虚拟机）
氷泠
08-22 2049
文章目录1 完全分布模式2 虚拟机配置6.1 配置虚拟机环境6.1.1 虚拟机安装6.1.1.1 镜像下载6.1.1.2 安装6.1.2 启动6.1.3 （可选）关于`Virtual Box`的分辨率6.1.4 `JDK`6.2参考 1 完全分布模式 完全分布模式是比本地模式与伪分布模式更加复杂的模式，主要从两个方面去配置： 三台虚拟机 三台真实服务器 其中通用步骤为： 配置ip 配置ssh 安装OpenJDK+Hadoop 创建用户 修改Hadoop配置文件 测试 2 虚拟机配置 需要使用到三台虚
VMware上基于centos系统完全分布式Hadoop集群的搭建详解
m0_73901987的博客
05-25 2312
这里的防火墙是需要关闭的，这是因为我们搭建的是完全分布式系统，需要多个节点来进行通信，如果不关闭后序可能出现防火墙拦截我们Hadoop的通讯信息，这里不需要害怕防火墙关闭导致有病毒传入或者非法用户的入侵，在后续我们会在基于Hadoop集群的外围搭建项目的防火墙。启动创建的虚拟机，点击界面的开启此虚拟机。执行下面的命令来进入到系统的IP配置文件中，如果是其他的Linux系统，配置文件的配置是不相同的，但里面的文件是一致的，这里就讲述centos系统的IP配置文件的目录。
在hadoop中使用命令hadoop dfsadmin -report没有出现Live datanodes相关代码、使用Java api上传文件出现没有足够的数据节点可用的问题
weixin_66383346的博客
03-10 799
不要总是使用hdfs namenode -format，后续还会出现别的问题。刚开始的时候，我忘记怎么开启集群和关闭集群了，然后，每次开启集群就会使用这个命令，这个currentId我不止修改了一次。我是先出现文件上上传的问题，然后通过解决hadoop dfsadmin -report命令的问题后，发现文件上传相关的问题也解决了，算是误打误撞吧。如果文件上传相关的问题还没解决可以去看另一个博主的博客。他好像和我的解决办法不同。文件上传解决办法跳转链接希望能够帮助到你！
Hadoop笔记
09-03
3. **克隆虚拟机**：根据需要克隆多台虚拟机，并分别命名为node1、node2和node3。 4. **配置IP地址和hostname**：编辑`/etc/sysconfig/network`和`/etc/hosts`文件，配置正确的IP地址和hostname。 5. **分发公钥到...
hadoop集群搭建教程
06-30
【Hadoop集群搭建教程】 Hadoop是一个开源的...完成以上步骤后，你就成功搭建了一个基本的Hadoop集群。这个集群可用于大数据处理，如数据存储、MapReduce作业执行等任务。记得定期监控和维护集群，确保其稳定运行。
配置了三台datanode，启动hdfs集群后只有一台启动成功
ddzzz_的博客
11-22 3136
配置了三台datanode，启动hdfs集群后只有一台启动成功… 本人是大数据初学者，集群规划为hadoop01(namenode、datanode),hadoop02(datanode)，hadoop03(datanode)，之前集群配置都没问题，hive，spark都ok；但过了段时间后start-dfs.sh启动hdfs集群时只能启动一台datanode，而且关掉再启动时启动成功的那台datanode不确定，一会儿是hadoop01，一会儿是hadoop02，一会儿是hadoop03。想想没什么误操作
hadoop图形化界面上只有一个datanode，集群中其他节点没有显示出来
水镜先生的博客
02-21 7357
最近了解一些大数据知识，自己尝试着搭建hadoop集群，但是遇到了很多坑，总结一下。 hadoop-daemon.sh开启集群，设置了3台虚拟机来当作集群，在master节点通过jps命令查看，看到3台集群的DataNode，NameNode、SecondaryNameNode都已启动，在slave节点通过jps命令查看，每台服务器的东西都启动成功。 但是在图形化界面上看只有一个DataNode，...
HDFS集群正常启动，但Web页面仅有一个DataNode 主节点的问题
热门推荐
weixin_42227283的博客
11-27 1万+
问题描述 三台虚拟机（分别是hadoop02，hadoop03，hadoop04）集群所有数据节点都已经正常启动了，而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有1个。 ![问题描述图1](https://img-blog.csdnimg.cn/20191127101727362.jpg?x-oss-process=image/waterma...
hadoop安装（三台虚拟机）一些常见问题
liangzou的专栏 从阅读开始
09-07 1718
现在网络有很多介绍hadoop安装的文章，我也试着按照他们的方法安装，乖乖，这个不行，那个有不行，只能一个一个的找谷老师，谷老师提供的乱七八糟的，最终还是安装上了。我这篇是根据人家写的基础之上写了，仅供参考机器名 机器名称        IP地址            作用 Master       10.64.79.153        namenode Leon03
hdfs中DataNode启动未报错，在namenodeweb界面发现DataNode少了一个问题解决
weixin_41684300的博客
12-23 1174
首先，查看namenode日志 发现大量的相同报错信息 ERROR org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.getDatanode: Data node DatanodeRegistration(192.168.216.102:9866, datanodeUuid=d789da46-1139-4fbe-94a6-a4efdb7ae1dc, infoPort=9864, infoSecurePort=0, ipcPort=9867
关于Hadoop在启动时只有一个一个datanode的解决办法
qq_24584471的博客
07-15 4645
[root@slave1 current]# pwd /usr/hadoop/hadoop-2.7.3/hdfs/data/current
hadoop集群datanode界面只显示一个
Y0730Y的博客
11-26 1715
因为slave机的配置文件是直接从master机里复制过去的，所以VERSION文件里的内容都一样 不同机器的clusterID都一样。 解决方法： 把slave机里的VERSION删掉，重启
虚拟机克隆后需要修改项
weixin_33810302的博客
01-10 276
先停止keepalived systemctl stop keepalived 更改root密码 登录到root用户下sudo passwd root（用户名） #passwd 更改vnc密码 #vncpasswd 修改服务器名称 hostnamectl set-hostname server881052 vi /etc/hosts keepalived都绑定ip：将网卡设为混杂模式 ip...
hadoop显示只有一个datanode节点启动
weixin_45430750的博客
12-30 2985
问题描述：Hadoop集群启动正常，所有节点正常启动，WebUI 界面正常展示，但是Web界面上只显示一个datanode节点在LIve Nodes 查看配置文件全部没问题，集群三台主机节点正常，数据节点只显示一台，说明集群将三个数据节点识别为一个，那么datanode节点VERSION是一致的 集群设置的临时数据位置在 /opt/module/hadoop-3.1.4/data/tmp/dfs/data/current/ 发现storageID和datanodeUuid是一致的，所以修改stora
Hadoop搭建另外克隆的两台虚拟机Hadoop集群jps只有一个
最新发布
06-26
当您在克隆的两台虚拟机上搭建 Hadoop 集群时，如果发现只有其中一台机器显示 `jps` 命令的结果，这通常意味着 Hadoop 的一些组件没有成功启动或者配置没有同步。`jps` 是 Hadoop 中的 JobTracker（Hadoop 1.x）或 YARN Resource Manager（Hadoop 2.x 及以后）用来查看正在运行的 Java 进程的工具。 以下是几个可能的原因和解决步骤： 1. **配置不一致**：检查每台机器的 Hadoop 配置文件（如 `core-site.xml`, `hdfs-site.xml`, 和 `yarn-site.xml`），确保它们的内容完全一致，特别是关于 Master地址（如 Namenode 或 ResourceManager 的地址）。 2. **服务启动顺序**：确保在启动 Hadoop 服务时，Master节点先于 Worker 节点启动，并且在启动时没有跳过关键的服务（如 NameNode, DataNode, ResourceManager, NodeManager）。 3. **环境变量**：检查每台机器的环境变量设置，尤其是 `HADOOP_HOME`, `HADOOP_CONF_DIR`, 和 `JAVA_HOME` 等，确保指向正确的安装路径。 4. **服务状态检查**：使用 `service hadoop [namenode|datanode|resourcemanager|nodemananger] status` 或 `hadoop-daemon.sh start/stop [component]` 来确认服务是否正在运行或已成功停止。 5. **防火墙和安全组**：确保网络访问设置正确，包括防火墙规则和虚拟机之间的端口通信。 6. **日志检查**：查看 Hadoop 日志文件（通常是 `/var/log/hadoop/*` 或 `/usr/hadooplogs/*`），查找错误信息，以便定位问题所在。 完成以上排查后，如果还是只有一个节点显示 jps 的结果，可以尝试重启整个集群，或者在有问题的节点单独运行 `jps` 看看其他服务是否已经启动。同时别忘了检查相关日志，这对诊断问题非常重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值