配置hbase主节点HMaster启动不起来

最新推荐文章于 2025-03-20 13:26:03 发布
转载 最新推荐文章于 2025-03-20 13:26:03 发布 · 2.3k 阅读 · 1

本文记录了HBase集群中主节点HMaster启动失败的问题，出现“Broken pipe”错误导致服务无法正常运行，并记录了详细的日志信息。

转自：http://www.01yun.com/other_question/20121214/10692.html

配置hbase，主节点HMaster启动不起来。

具体状况是开机以后 HMaster启动了一下。然后就down掉了。然后再也启动不起来。关闭hbase时候。子节点只能关闭zookeeper守护进程，不能关闭存储进程。

日志文件如下（节选部分）：错误没有在网上找到过，求指导。pipe坏了该怎么弄啊。

2012-04-11 02:32:57,914 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server Responder: starting

2012-04-11 02:32:57,917 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60000: starting

2012-04-11 02:32:58,099 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 0 on 60000: starting

2012-04-11 02:32:58,101 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 1 on 60000: starting

2012-04-11 02:32:58,101 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 2 on 60000: starting

2012-04-11 02:32:58,101 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 3 on 60000: starting

2012-04-11 02:32:58,101 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 4 on 60000: starting

2012-04-11 02:32:58,101 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 5 on 60000: starting

2012-04-11 02:32:58,101 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 6 on 60000: starting

2012-04-11 02:32:58,102 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 7 on 60000: starting

2012-04-11 02:32:58,102 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 8 on 60000: starting

2012-04-11 02:32:58,104 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 9 on 60000: starting

2012-04-11 02:32:58,653 INFO org.apache.hadoop.metrics.jvm.JvmMetrics: Initializing JVM Metrics with processName=Master, sessionId=ubuntu,60000,1334136776012

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: MetricsString added: revision

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: MetricsString added: hdfsUser

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: MetricsString added: hdfsDate

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: MetricsString added: hdfsUrl

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: MetricsString added: date

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: MetricsString added: hdfsRevision

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: MetricsString added: user

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: MetricsString added: hdfsVersion

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: MetricsString added: url

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: MetricsString added: version

2012-04-11 02:32:59,037 INFO org.apache.hadoop.hbase.metrics: new MBeanInfo

2012-04-11 02:32:59,038 INFO org.apache.hadoop.hbase.metrics: new MBeanInfo

2012-04-11 02:32:59,038 INFO org.apache.hadoop.hbase.master.metrics.MasterMetrics: Initialized

2012-04-11 02:32:59,195 INFO org.apache.hadoop.hbase.master.ActiveMasterManager: Deleting ZNode for /hbase/backup-masters/ubuntu,60000,1334136776012 from backup master directory

2012-04-11 02:32:59,266 WARN org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper: Node /hbase/backup-masters/ubuntu,60000,1334136776012 already deleted, and this is not a retry

2012-04-11 02:32:59,266 INFO org.apache.hadoop.hbase.master.ActiveMasterManager: Master=ubuntu,60000,1334136776012

2012-04-11 02:32:59,877 FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.

java.io.IOException: Call to Ubuntu-chaiying0/192.168.17.133:9000 failed on local exception: java.io.IOException: Broken pipe

at org.apache.hadoop.ipc.Client.wrapException(Client.java:1103)

at org.apache.hadoop.ipc.Client.call(Client.java:1071)

at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)

at $Proxy10.getProtocolVersion(Unknown Source)

at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)

at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)

at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119)

at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:238)

at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:203)

at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)

at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)

at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)

at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)

at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)

at org.apache.hadoop.fs.Path.getFileSystem(Path.java:187)

at org.apache.hadoop.hbase.util.FSUtils.getRootDir(FSUtils.java:482)

at org.apache.hadoop.hbase.master.MasterFileSystem.(MasterFileSystem.java:94)

at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:458)

at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:336)

at java.lang.Thread.run(Thread.java:679)

Caused by: java.io.IOException: Broken pipe

at sun.nio.ch.FileDispatcher.write0(Native Method)

at sun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:47)

at sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:122)

at sun.nio.ch.IOUtil.write(IOUtil.java:93)

at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:352)

at org.apache.hadoop.net.SocketOutputStream$Writer.performIO(SocketOutputStream.java:55)

at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:142)

at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:146)

at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:107)

at java.io.BufferedOutputStream.flushBuffer(BufferedOutputStream.java:82)

at java.io.BufferedOutputStream.flush(BufferedOutputStream.java:140)

at java.io.DataOutputStream.flush(DataOutputStream.java:123)

at org.apache.hadoop.ipc.Client$Connection.sendParam(Client.java:779)

at org.apache.hadoop.ipc.Client.call(Client.java:1047)

... 18 more

2012-04-11 02:32:59,898 INFO org.apache.hadoop.hbase.master.HMaster: Aborting

2012-04-11 02:32:59,898 DEBUG org.apache.hadoop.hbase.master.HMaster: Stopping service threads

2012-04-11 02:32:59,898 INFO org.apache.hadoop.ipc.HBaseServer: Stopping server on 60000

2012-04-11 02:32:59,898 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 0 on 60000: exiting

2012-04-11 02:32:59,898 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 1 on 60000: exiting

2012-04-11 02:32:59,898 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 2 on 60000: exiting

2012-04-11 02:32:59,899 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 3 on 60000: exiting

2012-04-11 02:32:59,899 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 4 on 60000: exiting

2012-04-11 02:32:59,899 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 5 on 60000: exiting

2012-04-11 02:32:59,899 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 6 on 60000: exiting

2012-04-11 02:32:59,899 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 7 on 60000: exiting

2012-04-11 02:32:59,899 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 8 on 60000: exiting

2012-04-11 02:32:59,899 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 9 on 60000: exiting

2012-04-11 02:32:59,900 INFO org.apache.hadoop.ipc.HBaseServer: Stopping IPC Server listener on 60000

2012-04-11 02:32:59,904 INFO org.apache.hadoop.ipc.HBaseServer: Stopping IPC Server Responder

2012-04-11 02:32:59,904 INFO org.apache.hadoop.ipc.HBaseServer: Stopping IPC Server Responder

2012-04-11 02:33:00,034 INFO org.apache.zookeeper.ClientCnxn: EventThread shut down

2012-04-11 02:33:00,035 INFO org.apache.zookeeper.ZooKeeper: Session: 0x136a0bf9ffc0000 closed

2012-04-11 02:33:00,035 INFO org.apache.hadoop.hbase.master.HMaster: HMaster main thread exiting

2012-04-11 02:33:00,035 ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master

java.lang.RuntimeException: HMaster Aborted

http://www.01yun.com/other_question/20121214/10692.html

at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:152)

at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:103)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)

at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:76)

at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:1637)


http://www.01yun.com/other_question/20121214/10691.html

gujian123456
关注
Hbase的Hmaster进程没有启动
萌兔兔MMQ！！
07-23 3203
启动Hbase进入在安装目录下的bin目录查看进程使用jps命令查看启动的进程发现Hmaster进程并没有启动，并且发现报错这是由于JDK使用的是jdk1.8.0_65我们只需要把hbase-env.sh里面的。
Hbase的Hmaster进程没有启动/Hbase进程启动不全
记录分享编程与冲浪知识
11-07 1万+
Hbase的启动，进程不全，Hmaster没有启动
Hbase启动故障报错汇总（Master、Regionserver启动失败、hbase shell list报错）
weixin_43799404的博客
01-13 5923
最近自学大数据技术栈中，将自己遇到的问题记录一下，希望能帮到其他学习的人，另外希望自己复习的时候可以少踩些坑。 首先，需要牢记的一点是很多启动报错都是表面现象，是更深层的问题所导致的，所以一定要学会看日志，然后再根据日志报错信息去搜索解决问题。 下面将遇到的启动遇到的错误的先列出来 这里写目录标题Hmaster启动后，一会自动消失ERROR:org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running ye.
hbase主节点HMaster启动失败
weixin_60811028的博客
05-16 1415
原因： hbase 默认注释掉 HBASE_PID_DIR，而 hbase 默认把 pid 文件放在 /tmp 下, 这个目录可能会被系统删除等原因无法找到 解决方法： 把 hbase/conf/hbase-env.sh 中的 HBASE_PID_DIR 属性打开修改为非临时路径, 例如 opt/module/hbase/pids, 然后重启 zookeeper 和 Hbase 即可 ...
Hmaster启动不了
qq_37102873的博客
11-08 971
Hbase启动 Hmaster 消失 在 hbase-site.xml 中填上 <property> <name>hbase.unsafe.stream.capability.enforce</name> <value>false</value> </property> 成功解决 ...
hbase主节点HMaster启动失败等问题
liwenjie001的博客
05-26 7657
一、hbase shell错误 运行hbase shell的list时报错： hbase(main):001:0&gt; list ERROR: Can't get master address from ZooKeeper; znode data == null Here is some help for this command: List all tables in hb...
启动hbase时，Hmaster、HRegionServer进程有时候起不来
superXZT的博客
11-07 1941
它出现的原因可能有是以下两点： 第一，可能是各个主机的时间不同步 【1】在各个主机上运行：date 命令，看看时间是否同步 【2】如果时间不同步的话 格式如下： #  ntpdate      -u   时间服务器IP   例子1： [root@master michael]# ntpdate -u time.windows.com 10 May 15:26:28 ntpdat...
HBase启动问题排查指南：解决HMaster和HRegionServer未运行的常见错误
最新发布
haoshenwan的博客
03-20 2304
通过以上步骤，可以系统性地解决HBase启动过程中遇到的HMaster和RegionServer未运行的问题。日志分析：快速定位错误原因。配置修正：移除废弃Java参数，确保HDFS和ZooKeeper配置正确。依赖服务验证：确保HDFS和ZooKeeper正常运行。权限管理：创建并授权必要的目录。掌握这些排查技巧，能够显著提升HBase运维效率。如果问题仍未解决，建议结合具体日志内容进一步分析或联系社区支持。
最新HBase的HMaster自动挂掉解决方案
qq_47893941的博客
02-21 1808
其实这里真正的问题出在后面的“Operation category READ is not supported in state standby."，这里导致HMaster自动掉点的原因并不是HMaster本身，而是Hadoop系统！看了很多优快云的攻略，有让改hbase-site.xml文件的，有让启动zkCli删除/hbase根目录的，都没有用，HMaster还是照样掉点，很搞心态。首先，最基本的操作，查看日志。其实这个时候，有可能出问题的并不是你的HBase而是你的Hadoop系统。
confluence启动不起来_羽毛球最易忽略缓解，想要启动更快，必须要有小跳步，非常重要...
weixin_39984661的博客
11-28 153
很多时候，大多数球友都会出现这种情况：在场下训练步伐时，都能跑到位，但一上场打起来，步法就各种的凌乱、各种的慌、各种的被动、和各种的失误，上网步伐不连贯，左右移动不到位等情况。(多球练习网前启动步伐)这种情况的出现，多是因为对启动步伐的不熟悉，启动，在打羽毛球移动时，占有重要的位置，但恰恰也是大家最易忽略的环节，想要启动更快，就得引入启动小跳步这个概念，因为这就是启动时加速的过程。启动小跳步：是指...
hbase关于hmaster无法启动
ttusihs的博客
08-01 1万+
hbase关于hmaster无法启动
[hadoop&hbase篇]hbase启动后主节点hadoop001的Hmaster启动不起来，而从节点hadoo002与hadoop003的HRegionServer都能够正常启动
alone554的博客
09-16 1427
hadoop集群活跃(active)状态的namenode节点和hbase的master必须是同一台机器。
hbase集群master节点无法启动问题的处理经验
apply_bomb的博客
06-03 3368
hbase集群master节点无法启动问题的处理经验如meta表namespace表不在线
hbase 单节点hmaser没有启动
GotFull的博客
12-23 1665
hbase 单节点配置 hmaser没有启动
CDH6.2 启动HBASE失败
dsc1245的博客
11-14 907
由于停电，导致CDH集群全部关机，然后HBASE起不来了，尝试删除HBASE，重新安装，发现安装过程失败，每个节点均无法启动CDH组件。 查看报错信息，发现提示一个地方权限不足，无图。。。 直接cd到报错的位置，发现如下： 发现hbase组件没有x执行权限，原因未知。。。手动添加执行权限 chmod +x hbase* 重新运行hbase组件添加程序，成功了 ...
HBase配置HMaster死亡
xugen12的专栏
08-04 4904
在配置HBase的时候，我们经常遇到一个问题就是regionserver正常运行，但是HMaster进程会在开始启动之后的十几秒内退出。使得HBase配置失效，经常发生的错误如下所示： 2015-06-06 17:23:33,232 INFO  [master1:16020.activeMasterManager] master.SplitLogManager: dead splitlog wo
zookeeper频繁异常问题分析
热门推荐
09-02 10万+
1.1            操作系统信息 1.1.1          CPU信息 从上述可以看出在问题点CPU使用率并不高，故排除CPU问题。 1.1.2          内存信息   CM监控界面并无内存信息，无法提供图片。 但问题期间，监控机器内存，发现还有剩余，故排除内存问题。 1.2            ZKFAILOVER日志信息   2017-09-0
zookeeper服务器主动断开与客户端的连接问题
Eddie-Wang的博客
09-09 3万+
最近在项目中用到了zookeeper的主从任务分发的功能。其中遇到了zookeeper server主动断开与client连接的问题： 2017-09-0109:45:57,390 INFO org.apache.zookeeper.ClientCnxn: Client session timed out,have not heard from server in 1668ms for ses...
hbase的hmaster启动不了
03-16
### HBase HMaster 启动失败的原因分析与解决方案 HBase 的 Master 节点（HMaster）负责管理表元数据以及协调 RegionServer 工作。如果 HMaster 无法正常启动，通常会涉及配置错误、依赖服务异常或其他环境问题。 #### 可能原因及对应解决方法： 1. **ZooKeeper 集群不可用** 如果 ZooKeeper 集群未运行或者配置不正确，则可能导致 HMaster 初始化失败。确认 ZooKeeper 是否正在运行并检查 `hbase-site.xml` 中的配置项是否指向正确的 ZooKeeper 地址[^1]。 ```xml <property> <name>hbase.zookeeper.quorum</name> <value>zk1,zk2,zk3</value> </property> ``` 2. **HDFS 文件系统不可访问** HBase 使用 HDFS 存储其文件，因此 HDFS 不可用也会导致 HMaster 启动失败。验证 NameNode 和 DataNode 运行状态，并确保 `/hbase` 目录存在且权限设置正确。 3. **端口冲突或防火墙阻止** 默认情况下，HMaster 绑定到特定端口 (如 16000)，如果有其他进程占用了这些端口或将它们屏蔽掉，那么 HMaster 就不会成功绑定。通过 netstat 或 lsof 命令查看是否有占用情况发生；另外调整安全组规则允许必要的通信流量进入主机上相应端口中去[^2]。 4. **日志中的具体错误信息** 查看 HMaster 日志文件可以获取更详细的错误描述。“at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:2120)” 提供了一个堆栈跟踪位置提示，在此路径下寻找更多上下文可以帮助定位确切的问题所在。 5. **Java 版本兼容性** 确认所使用的 JDK 版本满足当前版本 HBase 所需最低要求。某些功能可能仅支持较新的 Java 发布版，而旧版可能会引起未知行为甚至崩溃现象出现。 以下是重新尝试启动前应执行的一些基本操作命令示例: ```bash # 检查 zookeeper status echo ruok | nc localhost 2181 # 列出 hdfs 上 /hbase meta data dir contents hdfs dfs -ls /hbase # 显示 master log tail end part content tail -n 100 $LOG_DIR/hbase-hadoop-master-*.log ``` --- ###
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值