HBase中HMaster进程死掉原因之一

最新推荐文章于 2024-01-03 17:50:27 发布
原创 最新推荐文章于 2024-01-03 17:50:27 发布 · 2.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一个由于绑定问题Coprocessor导致HBase的HMaster进程挂起的案例。具体表现为一个表绑定的问题Coprocessor，在加载某个Region时触发了HMaster故障。解决方法包括从HDFS删除Coprocessor、禁用表、删除表并重启集群。

HBase中HMaster进程死掉原因之一

   下面分享由于一个表绑定了一个有问题的coprocessor，导致HMaster进程挂掉的事。

   我们创建了一个表，并且绑定了一个coprocessor，但是这个coprocessor却有问题（具体不知道有什么问题）。

   HMaster会让下线的Region加载（图一显示了这个Region下线太久）。假设在没有分裂的情况下，这个表对应了一个Region。当加载这个Region时，由于它绑定的coprocessor本身有问题，会导致HMaster进程挂掉（见图二）。这时，只有，先从HDFS里删掉coprocessor，disable表，最后drop表，重启集群，才能解决问题。



图一


图二


HMster进程总掉怎么办？
tt997573hdnd的博客
04-12 919
有的人此时的主节点已经选举好了leader，而有的人leader跑到了slave2上，接着停掉然后把slave1上打开zookeeper就好，知道主节点master成为leader为止。这时我们会发现主节点（master，已安装hbase）的zookeeper状态是follower，而子节点（slave1，未安装hbase）的zookeeper状态是leader。然后在主节点（有的人是只在一台上安装了hbase，在安装的那台操作）查看zookeeper的状态。然后我们去网页端看一下主节点的状态。
最新HBase的HMaster自动挂掉解决方案
qq_47893941的博客
02-21 1822
其实这里真正的问题出在后面的“Operation category READ is not supported in state standby."，这里导致HMaster自动掉点的原因并不是HMaster本身，而是Hadoop系统！看了很多优快云的攻略，有让改hbase-site.xml文件的，有让启动zkCli删除/hbase根目录的，都没有用，HMaster还是照样掉点，很搞心态。首先，最基本的操作，查看日志。其实这个时候，有可能出问题的并不是你的HBase而是你的Hadoop系统。
HMaster进程启动之后立马死掉
weixin_45980524的博客
01-04 1452
因为进程ID创建之后里面被删除，修改hbase-env.sh文件，将关于hbase进程id的一行取消注释，并且新建/var/hadoop/pids
机房停电集群整体宕机之后HBase出现的问题
weixin_30293135的博客
03-25 317
WARNING! File system needs to be upgraded. You have version null and I want version 7. Run the '${HBASE_HOME}/bin/hbase migrate' script. 不用担心，其实你只是缺少个正常的hbase.version文件！ 机房整体停电，集群所有节点都挂掉了。这种情况很少见，但是...
hbase环境搭建，hmaster启动后会掉解决办法
Sincere_Cry的博客
04-17 5323
安装和验证过程中会出现大量的问题，本次主要解决了hbase启动中hmaster在启动后就会停掉错误日志：ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master java.lang.RuntimeException: HMaster Aborted 问题产生原因：1. 未将hdfs中的core-s
HBase Coprocessors机制
liangtingac的专栏
09-12 3892
What we have built is a framework that provides a library and runtime environment for executing user code within the HBase region server and master processes.
HMaster启动一小会之后会自动挂掉（hbase-2.4.8）
Sakura__huiliyi的博客
03-15 3696
hmaster启动一小会之后会自动挂掉 进入hbase目录下的logs文件夹查看master的运行日志之后发现： 是hbase-site.xml配置出现了问题 主要错误有两个： 一个是结尾的</configuration>误删了 还有一个是hbase.rootdir的hdfs地址开头写错了，正确写法应该是 hdfs://node01:9000/目录名 或者是写成本地形式： file:///路径名 解决之后先不着急重启hbase，否则会报如下错误： 原因是之前的信息依然存在zookeep
hbase的hmaster在使用玩hbase shell后挂掉
最新发布
11-09
嗯，用户的问题是关于HBase的HMaster在使用HBase Shell后挂掉的原因及解决方案。首先需要仔细分析用户提供的引用内容，找出可能的线索。 引用[1]中提到启动HBase时需要分别在master和regionserver上启动相关进程，...
Hbase HA搭建 以及关于HRegionServer和HMaster进程无法启动的问题
qq_40076192的博客
10-04 2166
Hbase HA搭建 以及关于HRegionServer和HMaster进程无法启动的问题 在搭建Hbase HA的先决条件： 环境介绍： a.Hadoop版本3.1.2，是的，没用2.x版本。 b.Hbase版本1.1.3 c.Zookeeper版本3.4.6 都是相对比较新的版本 1.我自己使用三台虚拟机模拟hadoop HA集群，在你自己的集群中，首先启动zookeeper（每台主机都要...
HBase集群搭建实验(4)_完全分布式部署（依赖外部独立ZooKeeper集群，实现HMaster HA）
qq_35447918的博客
12-27 2436
HBase完全分布式模式： 1）不同的HBase进程分别独立运行在多台硬件配置较高的服务器主机构成的集群中，适合HBase的运维和生产环境 2）依赖于HDFS存储数据，因此布署Hbase完全分布式之前必须有一个正常运行的HDFS集群 3）依赖于独立的外部ZooKeeper集群，不使用内置ZooKeeper 实验前提：HBase完全分布式部署方式依赖Hadoop和ZooKeeper，本实验紧接...
linux 环境下进程被 killed掉原因分析和解决方法
热门推荐
沧海一帆的专栏
04-19 15万+
最近在arm上运行自己写的程序,程序运行时间久一点就被killed,需要分析原因并找到解决方法. 首先可能原因是 (1)内存不够 (2)程序出错 那么如何查看被killed原因呢? 1.内存不够 方法1是查看linux 系统日志. vi /var/log/messages 如果出现 kernel: Out of memory: Kill process意味着整个系统的内存已经不足，...
启动Hbase后HMaster老是掉的原因
m0_59603265的博客
01-03 2006
其次,查看log日志文件,发现是元数据信息记录有误,将zk客户端里记录的hbase节点删除,还要删除hdfs上根目录下的hbase删除,这样就将hbase恢复到了一个初始的状态;或者提前拍过快照,将机器直接恢复快照.1.启动Hbase之前先启动hdfs,zookeeper,再启动Hbase,但是隔一会就发现HMaster掉线了,但是hregionserver还在.2.解决:重新启动Hbase之前,先kill掉hregionserver。首先,检查是否是配置的问题,检查无误,排除;
Hadoop3.x安装Hbase时HMaster总是掉的解决方法
遇安的博客
11-30 2158
Hadoop3中hbase的HMaster总是掉的解决方法
启动Hbase后Hmaster节点挂掉的几个原因
weixin_39345735的博客
10-18 9717
学习HBase过程中，在安装Hbase后，会出现Hmaster节点在几秒种后会突然挂掉，有可能是以下原因:    1.时钟不同步    2.zookeeper出问题了    3.hdfs和hbase配置的端口不匹配     hdfs      core-site.xml hdfs://master      hbase-rootdir hdfs://master:9000/hbase
关于HBase集群中的Hmaster节点刚启动就挂掉的解决方法
weixin_43520450的博客
02-13 3887
关于HBase集群中的Hmaster节点刚启动就挂掉的解决方法
Hbase2.4.1集群安装：HMaster自动挂掉问题终于解决了
qq_51490070的博客
03-21 8857
文章目录HBase安装实验报告一．实验目的及要求二．实验设备三．实验内容与步骤四．实验结果（1）准备工作:启动hdfs,zookeeper（2）解压hbase包到指定目录 修改名字为hbase（3）配置环境变量（4）修改配置文件（5）hadoop建立软连接(6)分发hbase给其他主机(7)在hadoop103,hadoop104配置环境变量v(8)启动hbase（在master上启动）五．实验心得：易错点 HBase安装实验报告 一．实验目的及要求 （1）熟悉Linux系统基本操作 （2）熟悉HBase基
解决Hbase启动后，hmaster会在几秒钟后自动关闭（停掉）！！！
liudi1993的博客
09-06 3万+
兜兜转转，尝试了好多种方法，终于是好了，真的是没有度娘解决不了的问题！哈哈哈哈 在日志（身为小白白的我，一开始日志在哪我都不知道！路径：/usr/local/hadoop/app/hbase-0.98.8/logs/hbase-hadoop-master-Master.log(也就是安装hbase下的logs文件夹中)）中寻找到错误的原因，如下图： Step 2:运
hbase的hmaster进程启动后消失
06-14
### HBase HMaster进程启动后自动消失原因及解决方案 HBase中HMaster进程启动后自动消失的问题可能由多种原因引起，以下是详细的分析和解决方案： #### 1. **HDFS端口配置问题** 如果HDFS的默认端口号是8020，但在`core-site.xml`中修改了HDFS的端口（如改为9000），而未在`hbase-site.xml`中同步设置HDFS的端口，则可能导致HMaster无法正确连接到HDFS，从而引发进程关闭。需要确保`hbase-site.xml`中的HDFS配置与实际使用的端口一致[^4]。 ```xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop1:9000/</value> </property> ``` #### 2. **时间不一致问题** 系统时间不一致可能导致HMaster进程异常退出。可以通过以下两种方法解决： - 增加`hbase.master.maxclockskew`参数值以容忍更大的时钟偏差。 ```xml <property> <name>hbase.master.maxclockskew</name> <value>150000</value> </property> ``` - 修改系统时间并写入CMOS，确保集群节点时间一致。 ```bash date -s 11/23/2013 date -s 15:14:00 clock -r clock -w ``` #### 3. **Zookeeper冲突问题** 更换HBase版本后，ZooKeeper可能保留了旧版本的设置，导致冲突。可以使用以下步骤清除ZooKeeper中的旧数据[^5]。 ```bash # 进入ZooKeeper客户端 sh zkCli.sh # 查看根节点信息 ls / # 删除/hbase节点 rmr /hbase # 退出客户端 quit # 重启ZooKeeper服务 zkServer.sh stop zkServer.sh start ``` #### 4. **HBase与Hadoop版本兼容性问题** HBase与Hadoop版本不兼容也可能导致HMaster进程异常退出。建议检查HBase和Hadoop的版本是否匹配，并根据官方文档选择兼容版本[^5]。 #### 5. **防火墙或SSH免密登录问题** 防火墙未关闭或SSH免密登录未正确配置可能导致HMaster无法正常通信。需确保防火墙已关闭，并完成SSH免密登录设置[^3]。 #### 6. **HBASE_MANAGES_ZK配置问题** `hbase-env.sh`文件中的`HBASE_MANAGES_ZK`配置若为`false`，但未安装独立的ZooKeeper，则可能导致HMaster无法正常运行。需根据实际情况调整该配置项[^3]。 ```bash export HBASE_MANAGES_ZK=true ``` #### 7. **日志排查** 若以上方法均无效，可查看HBase的日志文件（位于HBase安装目录下的`logs`文件夹），定位具体的错误信息并采取针对性措施[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值