网络超时导致namenode被kill的定位

已于 2023-07-24 08:50:21 修改
阅读量421 收藏
点赞数
分类专栏： 服务器 大数据 网络 文章标签： 网络
于 2023-07-23 21:41:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shy_snow/article/details/131800128
版权
在交换机升级后，网络通信出现超时，导致Hadoop集群的Namenode进行主从切换。由于Namenode与Zookeeper的连接超时，触发了防脑裂机制，主动杀死了主Namenode进程。在切换过程中，系统通过SSH登录到原Namenode节点关闭其端口以防止集群状态不一致。日志记录了这一自动处理过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

交换机升级导致部分网络通信超时, 集群的namenode主从切换后,主namenode进程被杀死。
网络问题导致namenode与zk间的连接超时触发了hadoop集群的防脑裂机制而主动kill掉了超时的namenode进程。
在这里插入图片描述
日志分析发现zk和namenode之间的网络连接超时:
在这里插入图片描述
超时触发了namenode切换,并将超时的active状态的namenode杀掉来防止集群脑裂。查看日志发现namenode切换为active之前为了防止集群脑裂,主动ssh到原来的namenode集群上把namenode端口杀掉了。 日志如下：
在这里插入图片描述
集群就直接ssh到强制kill原namenode进程
在这里插入图片描述

遇到问题---CDH重启namenode--Command timed-out after 150 seconds--角色正在启动
直到世界的尽头
03-04 8395
情况 我们由于某些配置参数的调整 有时候需要重启namenode。 最方便的操作就是在CM后台直接操作–重新启动。 但是这次遇到的情况比较诡异，点击重启之后 namenode的状态变成了 已停止。 再次去点击重新启动则报错: Command aborted because of exception:Command timed-out after 150 seconds 角色正在启动 ...
Hadoop HDFS（NameNode、DataNode和HA高可用）
sjjsaaaa的博客
05-21 1484
一、NameNode和SecondaryNameNode（面试开发重点） 1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 NN和2NN工作机制 1.第一阶段：NameNode启动 第一次启动NameNode格式化后，创建Fsimage和Ed
解决启动HA后kill掉Namenode进程但另一节点仍然是Standby状态
ZhouQiYoung的博客
01-14 1391
继续踩坑 先说一段题外话： 配置高可用HDFS的时候 针对zookeeper配置hadoop的core-site文件的时候，一些资料是使用的是 <property> <name>ha.ZooKeeper.quorum</name> <value>master:2181,slave:2181,slave2:2181</value> </property> 配置完成之后死活zookeeper启动不了，查看日志说找不到“ha.zook
解决NameNode写Journalnode超时，导致NameNode挂掉问题(Timed out waiting 20000ms for a quorm of nodes to respond)
weixin_44976835的博客
08-23 1812
日志问题如上 可以发现，NameNode在写Journalnode发生了超时，默认超时时间为20s，在超时发生后，Namenode会触发ExitUtil类的terminate方法，导致进程的System.exit()。 触发写入超时的原因可能是因为执行了较大文件的HDFS操作，导致Namenode的FULL GC时间较长，所以导致写Journalnode超时。 如果发生这种情况，就需要把默认的20s改成更大的值 这里可以改为60000ms <property> <name.
namenode由于jn写入超时异常
悦上心灵的博客
02-05 284
namenode由于jn写入超时异常
namenode掉了？亲测有用！！
qq_61847352的博客
01-14 532
解决namenode掉进程问题解答！
杀死某个名称的进程
pengwupeng2008的专栏
01-27 455
linux shell killprocess   2011-05-18 17:31:48|  分类： Linux 字号 chmod 777 killprocess chmod 777 run_commad killprocess file #!/bin/sh NAME=$1 echo $NAME ID=`ps -ef | grep "
HDFS——Namenode的HA机制
hncscwc的博客
03-16 1580
【整体设计】NN（Namenode）的HA机制主要依靠zkfc完成，zkfc在NN所在节点以独立进程的方式运行。其内部主要由主控模块（ZKFailoverController）、健康检测模...
Hadoop NameNode 高可用实现源码分析
农村外出务工男的博客
03-20 1656
一、NameNode的单节点问题      在hadoop1.x版本中,我们知道HDFS架构中的NameNode节点存在单点问题,一旦NameNode节点宕机了,整个HDFS集群将不可用，因为NameNode保存了整个HDFS的元数据信息。不过在Hadoop2.x版本解决了单点问题,下面我们结合源代码来分析其具体实现。二、NameNode的高可用架构  先上一张图片(来源于网络)     从上图可...
hadoop（三）hdfs的NameNode和DataNode工作机制
weixin_45077780的博客
07-01 852
文章目录1. NameNode和SecondaryNameNode（面试开发重点）1.1 NN和2NN工作机制1.1.1引言1.1.2 具体工作机制介绍1.1.3 NN和2NN工作机制详解：1.2 Fsimage和Edits解析1.2.1oiv查看Fsimage文件1.2.2oev查看Edits文件1.3 chkpoint时间设置1.4 NameNode故障处理1.5 集群安全模式1.5.1概述1.5.2基本语法1.6 NameNode多目录配置2.DataNode（面试开发重点）2.1 DataNode
记录一次小小的namenode挂掉
qq_44028464的博客
11-30 903
为了演示SecondaryNameNode是如何恢复namenode的 第一步 当然是直接用法kill -9 NameNode进程号意外结束namenode进程 第二步. 进入namenode里面的/home/whzy/hadoopdata/dfs/name 这个目录 rm -rf name/* 删除name里面所有数据 表示namenode数据丢失 第三步 进入salve1主机(里面配置了s...
9 HadoopHA
stable_zl的博客
08-17 193
一、背景 ​ 在Hadoop集群中，NameNode是唯一负责存储元数据到数据块的映射的，如果NameNode挂掉，那么hdfs将不能使用，所以为了保证集群的可靠性，Hadoop2.0中提出了高可用的概念 二、原理 2.1 高可用原理 设置两个NameNode，一个正常工作(active)，另一个充当active的热备(standby) active的namenode把edits的修改写入到日志管理器 (QJM，quorum journal manager) 中 standby的namenode
hadoop ha模式下，kill active的namenode节点后，standby的namenode节点没能自动启动
fang.lovest.yang的博客
01-03 6278
一、背景      在Hadoop HA模式下，如果直接kill掉active namenode，standby namenode没有自动切换到active状态。 二、问题解决步骤      1. 查看hadoop安装目录下 etc/hadoop/hadoop-root-zkfc-fang16.hadoop.com.log ，关于zkfc的日志文件。发现如下问题：        由于在ac...
Zookeeper +Hadoop HA
m0_59737088的博客
07-13 506
1. zookeeper引言 简介 Apache ZooKeeper是Apache软件基金会的一个软件项目，大数据集群服务器的管理者协调者。 简言：ZK就是一个管理多个服务(集群分布式环境下)的通知机制 Watcher+文件系统 ZNode 文件系统：保存少量，服务器相关的配置文件信息。 Watcher 监听通知机制：注册监听服务器的上下线。 特点 zk集群中的数据内容，完全一致。 zk作为集群管理者，天生不存在单点问题。 zk的主机是动态选举出来的。 应用场景 2. 集群安装
HDFS-HA高可用 | Yarn-HA
weixin_30654583的博客
02-13 286
HDFS-HA HA（High Available），即高可用（7*24小时不中断服务） 单点故障即有一台机器挂了导致全部都挂了；HA就是解决单点故障，就是针对NameNode； 主Active：读写、从standby只读；所依赖的服务都必须是高可用的； 两种解决共享空间的方案：NFS、QJM（主流的） 奇数台机器；QJM跟zookeeper（数据全局一致；半数以上...
Namenode故障恢复
11-07 8210
Namenode元数据信息多目录配置 为了保证元数据的安全性，我们一般都是先确定好我们的磁盘挂载目录，将元数据的磁盘做RAID1 Namenode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。 具体配置如下： 文件名：hdfs-site.xml <property> <name>dfs.namenode.name.dir</name> &...
手动模拟NameNode故障处理以及集群的安全操作
张不帅
11-05 644
方法一:将SecondaryNameNode中的数据拷贝到namenode存储数据的目录 模拟 namenode 故障，并采用方法一，恢复 namenode 数据 模拟实现 jps查看namenode进程 并 kill -9 进程号 杀死进程 删除 namenode 存储的数（/opt/module/hadoop-2.7.2/data/tmp/dfs/name） [root@testno...
关闭NameNode进程
weixin_54348877的博客
09-29 2110
(2条消息) hadoop关闭不了namenode和datanode解决方法_Code First-优快云博客
关于hadoop-2.6.0 HA模式下HDFS自动failover切换的一点经验
oneinmore的专栏
04-24 6043
以我的经验，杀死原来ACTIVE namenode上的NameNode进程，会成功自动切换；而采用down掉网卡（ifdown  命令）的方法，不一定能够成功切换。根据我的经验这主要是与fencing方法的设置有关。Hadoop提供的两种fencing方法是sshfence和shell，其中sshfence要求ssh登录到目标结点杀死NameNode进程，因此当仅仅配置fencing方法是sshf
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh Stopping namenodes on [lishangming] lishangming: stopping namenode lishangming: stopping datanode slave1: stopping datanode slave2: stopping datanode Stopping secondary namenodes [salve2] salve2: ssh: Could not resolve hostname salve2: Name or service not known stopping yarn daemons no resourcemanager to stop slave1: stopping nodemanager lishangming: stopping nodemanager slave2: stopping nodemanager slave1: nodemanager did not stop gracefully after 5 seconds: killing with kill -9 lishangming: nodemanager did not stop gracefully after 5 seconds: killing with kill -9 slave2: nodemanager did not stop gracefully after 5 seconds: killing with kill -9 no proxyserver to stop
最新发布
03-12
### Hadoop 集群关闭问题分析 #### 主机名解析失败 (Hostname Resolution Failure) ...yarn application -kill ``` 最后重启整个Hadoop集群使更改生效之前，请先备份现有配置文件以免造成不必要的麻烦。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值