解决org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode

在运行MapReduce作业向HBase写数据时,遇到HMaster和HRegionServer进程挂掉的问题,原因是HBase进程的CMS垃圾回收触发不当导致频繁Full GC。解决方案是调整CMSInitiatingOccupancyFraction参数,将其设置为70,以减少Full GC的发生。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题描述

每次一运行MapReduce作业向HBase里面写数据,主节点的HMaster和HRegioServer进程就会挂掉。查看HBase日志发现,

WARN  [PEWorker-1] coordination.SplitLogManagerCoordination: Failed to check remaining tasks
org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired for /hbase/splitWAL
    at org.apache.zookeeper.KeeperException.create(KeeperException.java:127)
    at org.apache.zookeeper.KeeperException.create(KeeperException.java:51)
    at org.apache.zookeeper.ZooKeeper.getChildren(ZooKeeper.java:1532)
    at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.getChildren(RecoverableZooKeeper.java:278)
    at org.apache.hadoop.hbase.zookeeper.ZKUtil.listChildrenNoWatch(ZKUtil.java:500)
    at org.apache.hadoop.hbase.coordination.ZKSplitLogManagerCoordination.remainingTasksInCoordination(ZKSplitLogManagerCoordination.java:125)
    at org.apache.hadoop.hbase.master.SplitLogManager.waitForSplittingCompletion(SplitLogManager.java:326)
    at org.apache.hadoop.hbase.master.SplitLogManager.splitLogDistributed(SplitLogManager.java:258)
    at org.apache.hadoop.hbase.master.MasterWalManager.splitLog(MasterWalManager.java:293)
    at org.apache.hadoop.hbase.master.MasterWalManager.splitMetaLog(MasterWalManager.java:232)
    at org.apache.hadoop.hbase.master.MasterWalManager.splitMetaLog(MasterWalManager.java:224)
    at org.apache.hadoop.hbase.master.procedure.RecoverMetaProcedure.executeFromState(RecoverMetaProcedure.java:129)
    at org.apache.hadoop.hbase.master.procedure.RecoverMetaProcedure.executeFromState(RecoverMetaProcedure.java:52)
    at org.apache.hadoop.hbase.procedure2.StateMachineProcedure.execute(StateMachineProcedure.java:184)
    at org.apache.hadoop.hbase.procedure2.Procedure.doExecute(Procedure.java:850)
    at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execProcedure(ProcedureExecutor.java:1472)
  

org.apache.zookeeper.KeeperException$ConnectionLossException是ZooKeeper客户端库中的一个异常类,表示与ZooKeeper服务器的连接丢失。这个异常通常在以下情况下抛出: 1. 当客户端与ZooKeeper服务器的连接意外断开时,会抛出ConnectionLossException异常。 2. 当客户端尝试与ZooKeeper服务器建立连接时,如果连接失败,也会抛出ConnectionLossException异常。 这个异常类的完整名称是org.apache.zookeeper.KeeperException$ConnectionLossException,它是KeeperException的一个子类。KeeperException是ZooKeeper客户端库中的一个通用异常类,用于表示与ZooKeeper服务器交互过程中的各种错误。 在处理ConnectionLossException异常时,可以采取以下措施: 1. 检查网络连接:首先,确保客户端与ZooKeeper服务器之间的网络连接是正常的。可以尝试ping ZooKeeper服务器的IP地址,以确保网络连接没有问题。 2. 重试操作:如果连接丢失是由于网络问题导致的,可以尝试重新连接并重试之前的操作。可以使用重试机制来处理ConnectionLossException异常,例如使用循环和延迟重试策略。 3. 检查ZooKeeper服务器状态:如果连接丢失是由于ZooKeeper服务器本身的问题导致的,可以检查ZooKeeper服务器的状态。可以查看ZooKeeper服务器的日志文件,以了解是否有任何错误或异常发生。 4. 调整ZooKeeper客户端配置:有时,连接丢失问题可能是由于ZooKeeper客户端配置不正确导致的。可以检查ZooKeeper客户端的配置文件,确保配置正确。 总之,org.apache.zookeeper.KeeperException$ConnectionLossException表示与ZooKeeper服务器的连接丢失,可以通过检查网络连接、重试操作、检查ZooKeeper服务器状态和调整ZooKeeper客户端配置来处理这个异常。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值