NameNode 自动重启问题排查

最新推荐文章于 2022-04-17 10:24:36 发布
最新推荐文章于 2022-04-17 10:24:36 发布 · 2.3k 阅读 · 1
文章标签：

#namspan idtransmarks #架span idtransmarkspa #hdspan idtransmarksp

本文记录了一次HDFS NameNode HA架构中出现的故障现象及排查过程。客户端重复提交复杂查询，加之HDFS正在进行Rebalancer操作，导致Standby NameNode频繁重启。通过对日志的分析和资源调整，最终解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

NameNode部署的HA架构，由于客户端重复提交了一些复杂查询，而且当时Hdfs当时正在做Rebalancer.  导致standy节点来回重起

1. 首起查看NameNode日志，发现出现了很多以下的error:

   Get corrupt file blocks returned error: Operation category READ is not supported in state standby

   尝试了几个方案，包括强制切换active和standy，不管用

2. 后来发现连带clouder manager agent的都来回异出退出，
   想了一下，最近有两个节点的blocks数过多，而现在NameNode分配的内存只有1G, 看来有可能是内存不够用了，把内存加到后4G后，重起，果断管用了。。。

不过小文件的问题还是要解决的，每个block太小，bock数量过多。map数量过多，这个问题也必须要解决
遇到问题---CDH重启namenode--Command timed-out after 150 seconds--角色正在启动
直到世界的尽头
03-04 8425
情况 我们由于某些配置参数的调整 有时候需要重启namenode。 最方便的操作就是在CM后台直接操作–重新启动。 但是这次遇到的情况比较诡异，点击重启之后 namenode的状态变成了 已停止。 再次去点击重新启动则报错: Command aborted because of exception:Command timed-out after 150 seconds 角色正在启动 ...
遇到问题--hadoop---节点服务重启成功一段时间后又停止
直到世界的尽头
03-20 897
情况 我们发现CDH中一个hbase的regionServer节点经常自动停止，没有明显的错误信息。 重启后又过一小段时间又自动停止 原因 这种情况一般都是需要排查相关服务的日志的，比如我们是regionServer节点的服务，则需要先看regionServer节点的日志。 很幸运的是 原因很快就找到了。 一进入日志界面就报错找不到日志文件路径。 一般这种情况有可能是读写权限...
Hadoop namenode无限重启故障
h952520296的博客
07-07 919
中午接到一个同事的消息，说一个有200多个dn节点的集群（CDH）hive没办法创建分区了。重启了多次，都没有效果。后来发现namenode也一直出现故障。 收到消息，就联机上去看了一下，果然hive的命令全部都挂起来了，hadoop fs 命令也一样被挂起。在CDH 的管理界面上检查了一下NN节点的状态，发现NN有问题。因为是生产环境，已经有半天没有数据上报了。运维的同事都比较着急。 没办法，先来常规吧，重启HDFS服务，等了10多分钟，NN状态正常了两分钟，又挂掉。几次下来，放弃了这个方法。仔细研究
hadoop中namenode无法启动
黄俊东的专栏
05-02 1741
最近因为女神的原因，做什么都无精打采。最蛋疼的时候是，今天搞集群时也无i精打采的，导致bug、exception满天飞。为此付出的代价就是调了一个晚上，最后是看日志一步一步的解决的。在这里建议大家，其实日志就是最好解决问题的工具。一下附上我在解决问题是参考了的一部分文档 执行start-all.sh的时候发现JPS一下namenode没有启动         每次开机都得重新格式化一下
2.Hadoop 集群HA Standby Namenode损坏故障修复2
weixin_43346403的博客
04-17 1894
技术让生活更精彩
Hadoop中的问题排查思路
01-27 221
一、概述： 在实际使用hadoop的过程中，由于涉及到多台服务器、每台机器上可能还有多个服务等。所以当集群环境出现问题时，快速定位到错误出现的地方尤为重要。 在排查错误的过程中，基本上就是通过既有的工具来检测集群的运行时环境、集群日志等来分析导致错误的原因。 二、Java heap： hadoop需要运行在Java运行时环境之上。因此jvm中的内存分配是否处于合理的状态，就是需要...
启动hadoop报No Route to Host from lida1/10.30.12.87 to lida3:8485 failed on socket timeout exception:
达达2敖雷的专栏
05-04 3768
问题： 启动hadoop启动时有个NN始终起不来。查看日志，发现报错如下： 2016-05-04 15:12:27,837 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Get corrupt file blocks returned error: Operation category READ is not support
Hadoop HDFS NameNode重启优化策略与流程分析
同时，对于NameNode的重启过程，也需要有良好的日志记录和故障排查工具。 8. **系统升级策略**：在进行系统升级或应用补丁时，应尽可能减少对NameNode的影响。例如，可以利用滚动升级（Rolling Upgrade）来逐步更新...
HDFS NameNode日志分析：故障排查与性能分析的关键
![HDFS NameNode日志分析：故障排查与性能分析...在日常维护和故障排查中，NameNode日志提供了宝贵的信息。本章将对HDFS NameNode的日志系统进行概览，包括其日志的生成机制、存储位置和基本格式。了解这些基础知识将为
【Hadoop集群运维必备】：快速解决NameNode进程优先级问题
[【Hadoop集群运维必备】：快速解决NameNode进程优先级问题](https://media.geeksforgeeks.org/wp-content/uploads/20201030130233/startinghadoopdaemon.png) # 1. Hadoop集群与NameNode简介 在本章中，我们将概述...
执行“hdfs dfs -ls /”出现“Operation category READ is not supported in state standby”报错解决
极致|专业
07-05 2452
问题：17/07/05 17:15:28 INFO retry.RetryInvocationHandler: Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslatorPB over vm1/192.168.137.121:9000 after 5 fail over attempts. Trying
hadoop报错:Operation category READ is not supported in state standby
weixin_42496757的博客
02-14 1645
执行hadoop fs -ls /  报错: [root@hadoop01 bin]# hadoop fs -ls /19/02/14 00:09:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where a...
WARN org.apache.hadoop.hdfs.servåer.namenode.FSNamesystem: Get corrupt file b
wulantian的专栏
06-23 7119
Hadoop运维笔记 之 Namenode异常停止后无法正常启动： 存储，学习，共享。。。。 公司在线上使用了CDH5 HA模式，有两个Namenode节点，结果其中的Standby节点因为一些关于edits文件的报错异常停止了，并且在启动的过程中一直报告找不到各种文件。 刚开始怀疑问题可能只发生在Standby本身，因此尝试了bootstrapStandby
Operation category READ is not supported in state standby解决办法
热门推荐
菜鸟
08-18 4万+
当从一个集群向另一个集群中导入数据时hadoop distcp hdfs://1.1.1.1:8080/user/hive/warehouse/database_name.db/tableName/partitions hafs://2.2.2.2:8020/user/hive/warehouse/database_name.db/tableName/partitions/*出现以下错误： or
Hive错误解决：Failed with exception Operation category READ is not supported in state standby
andyguan01_2的博客
03-22 2033
问题描述： 通过Azkaban调Sqoop，将Oracle数据导入Hive，报Failed with exception Operation category READ is not supported in state standby错误。Azkaban日志如下： 22-03-2019 15:01:14 CST sqoop INFO - Starting job sqoop at 1553238...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值