关于hadoop的异常

最新推荐文章于 2024-03-23 17:12:06 发布

weixin_41768626

最新推荐文章于 2024-03-23 17:12:06 发布

阅读量250

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop异常

本文链接：https://blog.youkuaiyun.com/weixin_41768626/article/details/86586550

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细解析了HDFS中namenode与datanode启动失败的原因，聚焦于clusterID不一致的问题，并提供了详细的解决步骤，包括重新配置clusterID、格式化namenode及注册ZNode的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

datanode与namenode启动失败

查看log日志才发现我的namenode中的对应的VERSION内的clusterID与datanode内的clusterID不一致导致的,我这里配置的namenode路径是/opt/soft/new/dfs/name,datanode路径是/opt/soft/new/dfs/data。当启动项目后namenode和datanode都会自动创建current这个文件夹。这里面有一个叫做VERSION的文件。我们打开这个文件就能看到clusterID了。
**注意:**我这里是分布式，也就是说意味着您要在其他节点对应的datanode管理的文件夹中VERSION的clusterID也要配置主机的clusterID。

使用hdfs dfs 命令报错

报错信息: operation category read is not supported in state standby
查看ha节点状态: 首先我们查看我们namenode节点上的HA节点状态。
/opt/hadoop/bin/hdfs haadmin -getServiceState master
只要是有namenode节点的都查一下。这里的master是我的主机名。
查询结果: standby
解决办法: /opt/hadoop/bin/hdfs haadmin -transitionToActive --forcemanual master。
这个时候我们的主机HA节点状态应该是为active。
如果将状态强转为active时报错了。那么我做的操作是将namenode节点重新格式化,随后将datanode中的clusterID重新配置(我是三台虚拟机,都需要重新配置)。

今天才发现我的hdfs每次启动都会报上面这个错误，造成原因是我进行了多次格式化namenode。解决方法，在格式化namenode之后我们要进行注册ZNode。注册命令为: hdfs zkfc -formatZK

以上是我的总结，不当之处请原谅，有问题请及时指出，如果能帮到您，那么我太开心了