Hadoop完全分布式 小bug -no.1 为啥我的集群只显示一个datanode！

最新推荐文章于 2024-12-18 20:07:44 发布
转载 最新推荐文章于 2024-12-18 20:07:44 发布 · 2.8k 阅读 · 5

本文记录了作者在搭建Hadoop集群过程中遇到的datanode数量显示异常问题，通过删除datanode的VERSION文件并重启集群，成功解决了datanode数量不正确的问题。

问题如标题，先说一下我的搭建步骤1.在主节点主机下，配置好hadoop，yarn，mapred三个env文件以及site文件和salves文件2.确保tmp文件清空的情况下，格式化namenode3.将配置好的Hadoop软件包分发给另外两个克隆机4.用start-dfs.sh命令启动集群。用jps命令确认所需进程是否启动.访问主节点主机Ip：50070网站，把网页tab切换至datanodes，然后发生了一件神奇的事情，图如下

在这里插入图片描述

what？ 为什么只有一个datanode，而且刷新后发现，三个主机来回切换占用一个datanode。然后从各网站上面搜寻各种答案。。。。。。当查到datanode在tmp/dfs/data/current/VERSION里面有自己的Id的时候，我就想到可能是三台机器的datanode占用一个datanode的Id所致，毕竟，namenode和datanode的id是在format namenode的时候生成的，于是我删掉了文件夹下的VERSION（存储datanodeId）的文件，杀掉所有namenode，datanode进程重新用start-hdfs.sh命令启动，然后…
在这里插入图片描述

suprised! 大功告成！

hadoop图形化界面上只有一个datanode，集群中其他节点没有显示出来
水镜先生的博客
02-21 7436
最近了解一些大数据知识，自己尝试着搭建hadoop集群，但是遇到了很多坑，总结一下。 hadoop-daemon.sh开启集群，设置了3台虚拟机来当作集群，在master节点通过jps命令查看，看到3台集群的DataNode，NameNode、SecondaryNameNode都已启动，在slave节点通过jps命令查看，每台服务器的东西都启动成功。 但是在图形化界面上看只有一个DataNode，...
hadoop集群只有一个datanode启动问题
热门推荐
yijichangkong的专栏
05-02 1万+
之前不懂犯了个低级错误，导致datanode只能启动一个；很是奇怪； 首先，之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode 注：clusterID在/usr/local/hadoop/hdfs/name/current目录下； 解决方案：修改Shadoop1 和 Shadoop2 的data/current目录下的V
关于Hadoop在启动时只有一个一个datanode的解决办法
qq_24584471的博客
07-15 4693
[root@slave1 current]# pwd /usr/hadoop/hadoop-2.7.3/hdfs/data/current
为何hadoop集群只有一个datanode呢？
weixin_43377681的博客
04-19 1339
为何hadoop集群只有一个datanode呢？ 1.看配置 hadoop2的看slaves文件配置；hadoop3的看workers文件配置 2.同步的错误 在同步时将hadoop文件夹全部都同步过去了，里面的log日子也同步过去了，这样的的话，就会导致datanode只有一个。 解决办法：删除data和logs文件 然后重新初始化naname ...
关于hadoop集群出现datanode只显示一个并且动不动dead的问题。同时存在使用率动不动爆满问题。
m0_53353946的博客
11-22 869
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个。问题解决！！！
hadoop只显示一个DataNode
zsmxiaoci的博客
10-06 1811
hadoop报错解决
hadoop-2.7.7.tar.gz
04-26
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它的核心设计是解决大数据处理的问题。Hadoop 2.7.7是Hadoop发展过程中的一个重要版本，提供了许多改进和优化，旨在提升性能、稳定性和易用性。在这个版本中...
a(hadoop-eclipse-plugin-2.7.3.jar、hadoop.dll、winutils.exe).rar
06-11
标题中的"a(hadoop-eclipse-plugin-2.7.3.jar、hadoop.dll、winutils.exe).rar"是一个压缩包文件，包含三个关键组件：`hadoop-eclipse-plugin-2.7.3.jar`、`hadoop.dll`和`winutils.exe`。这些组件都是Hadoop生态...
hadoop-3.3.6-src.tar.gz
04-09
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它的核心设计是解决大数据处理的问题。`hadoop-3.3.6-src.tar.gz`是一个源代码压缩包，包含了Hadoop项目在版本3.3.6中的所有源代码。这个版本可能包含了一些...
hadoop-3.2.2-src.tar.gz
02-01
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它的核心设计是处理和存储大量数据的分布式文件系统，名为HDFS（Hadoop Distributed File System）。Hadoop-3.2.2-src.tar.gz是一个源代码压缩包，包含了...
Hadoop | 集群配置（三）完全分布式集群规划 | 配置详情
希望每天都能进步一点点
01-16 1673
参考资料 视频链接 厦大实验室 运行环境 JDK8 hadoop3.1.3 3个集群节点，分别为hadoop101、hadoop102、hadoop103 hadoop 1.x到2.x的升级 解决问题： 组件 Hadoop1.x的问题 Hadoop 2.x的改进 HDFS 单一名称节点，存在单点失效问题 设计了HDFS HA，提供名称节点热备机制 HDFS 单一命名空间，无法实现资源隔离 设计了 HDFS Federation，管理多个命名空间 MapReduce 资源管理
hadoop集群不管怎么启动在hadoop管理界面都看到只有一个datanode
愤怒的苹果ext的博客
11-01 1万+
在配置hadoop集群时，由于大多都是复制到每个节点上的，这就导致了datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageID 只需要稍微修改下这2个id的值重新启动就可以了。 就这样就行了。
Hadoop集群：访问网站 Datanodes 显示只有一台
oki628hbjn7647的博客
12-18 625
配置Hadoop集群（两台ubuntu虚拟机）
Hadoop第一坑：集群搭建只显示一个datanode
weixin_42133437的博客
08-28 3230
搭建hadoop集群时在主节点主机下，配置好hadoop，yarn，mapred三个env文件以及site文件和salves文件后，启动HDFS和YARN 正常！ 也看不出问题 访问主节点主机Ip：50070网站，发现如下问题 显示结果只有一个节点。原因是因为bigdata02和03 从节点为bigdata01主节点搭建伪分布式后克隆而来，所以三台机器的data...
【Hadoop】图形化界面只有1个DataNode
12-06 2183
集群启动后，DataNode，NameNode、SecondaryNameNode都正常启动。但是在图形化界面上看只有一个DataNode。 尝试了删除VERSION、重新格式化NameNode后，都不行。 用hdfs dfsadmin -report命令查看DataNode节点信息，竟然报连接不上的错误 有点疑惑，之前确认过是可以ping通的，再次ping hostname，是通的： 又ping IP，果然是不通的，考虑还是云服务器的安全策略问题，开放9820端口： 重启hd...
hadoop显示只有一个datanode启动
u013077314的博客
12-14 5298
1.datanode无法启动： DataNode(dfs/data/current/VERSION)的clusterID与NameNode(dfs/name/current/VERSION)的不一致，datanode无法启动   解决方法：将NameNode的clusterID复制到DataNode，顺便检查下各个storageID、datanodeUuid是不是不一样的（如果一样需要修改）...
hadoop中live nodes有三个，但datanode只显示一个
weixin_55784925的博客
11-02 3536
hadoop集群问题
明明启动了三个DataNode，hadoop集群只显示一个datanode监控呢
weixin_45310459的博客
09-02 2920
为什么你的hadoop监控网页，只显示一个DataNode
Hadoop-1.1.5版本集群模式，datanode只有只有一个
最新发布
06-14
### Hadoop 1.1.5 集群模式下 DataNode 仅启动一个节点的原因及解决方案 Hadoop 1.1.5 版本的集群模式下，DataNode 只启动一个节点的问题可能由多种原因引起。以下是一些常见的原因及解决方案： #### 1. **配置文件问题** - 在 `core-site.xml` 文件中，`fs.defaultFS` 的值需要正确配置为 NameNode 的地址[^3]。如果此值错误或未正确指向 NameNode，则 DataNode 无法正常注册到 NameNode。 - 确保 `hdfs-site.xml` 中的 `dfs.replication` 参数设置合理。例如，如果该参数设置为 3，但集群中只有两个 DataNode 节点可用，则可能会导致部分 DataNode 无法正常启动或注册。 ```xml <property> <name>dfs.replication</name> <value>2</value> </property> ``` #### 2. **主机名解析问题** - 如果集群中的节点无法通过主机名互相解析，则可能导致 DataNode 无法与 NameNode 建立连接。确保所有节点的 `/etc/hosts` 文件正确配置了所有节点的 IP 地址和主机名映射[^2]。 #### 3. **防火墙或端口限制** - 检查是否有防火墙阻止了 DataNode 和 NameNode 之间的通信。默认情况下，NameNode 使用 9000 端口，DataNode 使用 50010、50075 等端口。确保这些端口在所有节点上开放。 - 如果使用了 SELinux 或其他安全机制，请确保其不会干扰 Hadoop 的正常运行。 #### 4. **SSH 免密登录配置** - 集群中的每个节点都需要配置 SSH 免密登录。如果某个节点未正确配置免密登录，则 Hadoop 的分布式命令（如 `start-dfs.sh`）可能无法成功启动该节点上的 DataNode 服务[^2]。 #### 5. **磁盘空间或权限问题** - DataNode 需要足够的磁盘空间来存储数据。如果某个节点的磁盘空间不足或目录权限不正确，则该节点上的 DataNode 服务可能无法正常启动。 - 确保 `hadoop.tmp.dir` 配置的路径存在且具有正确的权限。 #### 6. **日志分析** - 检查 DataNode 的日志文件（通常位于 `$HADOOP_LOG_DIR` 目录下），查找具体的错误信息。日志中可能会提供关于 DataNode 无法启动的具体原因。 #### 7. **版本兼容性问题** - Hadoop 1.1.5 是一个较老的版本，可能存在一些已知的 Bug 或兼容性问题。建议参考官方文档或社区资源，确认是否存在针对该版本的补丁或更新[^1]。 --- ### 示例：检查和修改配置文件 以下是 `core-site.xml` 和 `hdfs-site.xml` 的示例配置： ```xml <!-- core-site.xml --> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode-host:9000</value> </property> </configuration> <!-- hdfs-site.xml --> <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> ``` --- ### 示例：检查 DataNode 日志 可以通过以下命令查看 DataNode 的日志文件： ```bash tail -f /path/to/hadoop/logs/hadoop-hdfs-datanode-*.log ``` ---
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值