hbase报租约过期，regionserver自动关闭-namenode.LeaseExpiredException

最新推荐文章于 2021-07-17 09:05:27 发布
转载 最新推荐文章于 2021-07-17 09:05:27 发布 · 1.4k 阅读 · 0
文章标签：

#hbase

本文描述了HBase中出现regionserver自动关闭及租约过期的问题，并记录了相应的错误信息。通过调整HDFS和HBase配置文件中的参数，成功解决了这一问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

http://blog.sina.com.cn/s/blog_7f83b8fb0102v88q.html

hbase报租约过期，regionserver自动关闭-namenode.LeaseExpiredException

  (2014-12-22 11:09:06)
转载▼
标签： 

it

 

租约

 

过期

分类： 成长之路
现象：
1、报错的regionserver自动关闭
2、regionserver上的错误是：（以下我们以Slave7为例）
org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /hbase-new/WALs/Slave7,60020,1419212005345/Slave7,60020,1419212005345.1419212012809: File does not exist. Holder DFSClient_hb_rs_Slave7,60020,1419212005345_-74
773978_32 does not have any open files.
3、在Master上，报的错误是：
org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): Parent directory doesn'texist: /hbase-new/WALs/Slave7,60020,1419212005345
4、根据上面的信息，查看HDFS，发现WALs目录中没有Slave7的信息
hbase报租约过期，regionserver自动关闭-namenode.LeaseExpiredException
经过搜索问题，对下面的参数进行了修改。
主要是针对租约与超时的修改。修改完重启Hbase，问题暂时消失。后续有待观察。
在hbase-site.xml中添加如下：
hbase报租约过期，regionserver自动关闭-namenode.LeaseExpiredException 网上，针对租约问题，大多给出的解决方案是：在hdfs-site.xml中，设置 dfs.datanode.max.xcievers 。但是，本问题貌似与这个参数无关。


租约机制以及在hbase中的应用
进一步有一步的欢喜
02-18 2338
为什么需要Lease 分布式系统中为什么需要租约机制，这是因为在分布式系统，为了保证服务的高可用，需要在服务发生故障的时候及时启动另外一个服务实例以替换故障服务。这样就需要在服务端和客户端或者服务端和控制中心维持一个心跳信息，用于服务进程向控制中心汇报当前自己的健康情况，如果控制中心在一段时间收不到服务进程上报的心跳，则会启动新的进程继续对外提供服务。 但是，由于实际网络情况的复杂性，控制中心
HBase参数优化
Kuzury
03-16 2352
服务端参数优化：1 hbase.regionserver.handler.count：rpc请求的线程数量，默认值是10，生产环境建议使用100，也不是越大越好，特别是当请求内容很大的时候，比如scan/put几M的数据，会占用过多的内存，有可能导致频繁的GC，甚至出现内存溢出。2 hbase.regionserver.hlog.splitlog.writer.threads：默认值是3，建议设为1
HDFS超租约异常总结（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException）
weixin_30731287的博客
09-12 547
异常信息： 13/09/11 12:12:06 INFO hdfs.DFSClient: SMALL_BUFFER_SIZE is 512 org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No leas e on /tmp/put_dir/...
org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException
Johnson8702的博客
01-06 1053
问题 SparkStreaming实时消费kafka数据，数据聚合后重分区，每个分区内部，写hive表；写文件的过程中，文件名具体到批次时间。通过executor的日志，发现偶尔会有下面的报错 21/01/06 13:44:00 WARN DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException)
org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: org.apache.hadoop.hdfs.server.namenode
i am me，haha，么么哒。。。
04-13 4412
1.最近hbase的rgion经常挂掉一个，查看该节点日志发现如下错误： 2014-02-22 01:52:02,194 ERROR org.apache.Hadoop.hbase.regionserver.HRegionServer: Close and delete failed org.apache.hadoop.hdfs.server.namenode.LeaseExpired
【HBase】问题定位与调优实战（持续更新中。。。）
OliverChrist的博客
05-04 2680
问题标题：CTBase manager页面无法打开，Hbase不可用问题描述：hbase shell操作时报错HMaster正在初始化ERROR:org.apache.hadoop.hbase.PleaseHoldException:Master is initializing问题定位：查看HMaster日志发现HMaster启动时等待指派namespace表超时,导致主备HMaster一直在不停...
hbase合集
leezsj的博客
07-17 1415
HBASE hbase的来源 1、hdfs的数据读写延迟高 2、不能进行实时删除局部数据 3、hive的数据必须要指定的列或者字段，必须要格式化的数据 4、hbase来源于google的bigtable hbase的定义 hbase是一个基于hadoop开源的，分布式的，多版本的，可扩展的，非关系型数据库，能够处理海量数据，（数十亿行，数百万列），面向列存储，面向稀疏存储（mysql面向行存储） HBase特性 hbase类似于：redis，clickhouse,mongodb，canss
Ubuntu下HBase数据库的安装和配置文件详解
我在阴山下
05-06 1878
文章目录下载与安装单机版hbase配置单机版hbase测试habse配置详解 下载与安装 从http://www.apache.org/dyn/closer.cgi/hbase/下载稳定版安装包，我下的是hbase-1.3.4-bin.tar.gz 解压放在/usr/local的目录下 修改权限sudo chown -R luanpeng hbase-1.3.4/ 在～/.bashrc下添加，之...
为什么hbase shell中输入list不报错输入create等命令就报错master is initializing
最新发布
03-20
嗯，用户问的是为什么在HBase Shell里输入list命令没问题，但执行create之类的命令却报错“master is initializing”。我需要先回忆一下HBase的架构和常见问题。 首先，HBase的架构中，HMaster负责管理元数据，比如...
详解租约机制以及在hbase中的应用
08-31
主要介绍了详解租约机制以及在hbase中的应用的相关资料,需要的朋友可以参考下
namenode.LeaseExpiredException dfs.datanode.max.xcievers参数配置为8192
weixin_34357267的博客
11-06 306
hadoop集群有一个profile的mr任务总是failed报错如下：Error: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /amos/warehouse/amos/profile/merg...
HDFS超租约异常（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException）
smallnetvisitor的博客
06-19 1025
异常信息： org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No leas e on ***.lzo File does not exist. Holder ** does not have any open files. ...
[HBase事故] HBase regionserver被强制关闭问题分析
StephenLu0422的博客
09-07 1558
[HBase命案系列] HBase regionserver被强制关闭问题分析 一.案发现场 2018-09-06 15:51:59,685 ERROR [regionserver/node-210:16020.logRoller] regionserver.LogRoller: Log rolling failed java.lang.StringIndexOutOfBoundsExcept...
Number of dynamic partitions RemoteException LeaseExpiredException
空中的鱼
07-13 651
hive做大数据处理时，遇到如下异常： [Fatal Error] Operator FS_2 (id=2): Number of dynamic partitions exceeded hive.exec.max.dynamic.partitions.pernode. ...... org.apache.hadoop.hive.ql.metadata.HiveException: org
hbase 租约超时及rpc超时出现的问题
宏轩ＪＡＶＡ技术专栏
05-22 3963
随着数据量的增大，HIVE查询HBase的时候又出现了scan数据缓慢的问题，在HBase regionserver的log中出现了如下错误:   [plain] view plaincopy org.apache.hadoop.hbase.regionserver.LeaseException: lease '-88413693092487843
Hive 问题报错处理——No lease on
Yrz7746321的博客
07-10 2409
Hive job failed with error "org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException" 本文介绍了您的配置单元作业失败并出现错误时该怎么办：“org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredEx.
127.0.0.1: running zookeeper, logging to /usr/local/hbase/bin/../logs/hbase-hadoop-zookeeper-wittteee-virtual-machine.out running master, logging to /usr/local/hbase/bin/../logs/hbase-hadoop-master-wittteee-virtual-machine.out : running regionserver, logging to /usr/local/hbase/bin/../logs/hbase-hadoop-regionserver-wittteee-virtual-machine.out 重启Ubuntu可以吗
03-17
<think>好的，我现在需要帮助用户解决关于HBase、ZooKeeper在Ubuntu上重启是否能够解决日志相关的问题。首先，我要理清楚用户的问题。用户想知道是否通过重启Ubuntu系统可以解决HBase和ZooKeeper的日志相关潜在问题。我需要结合提供的引用资料来给出合理的回答。 首先，根据引用[4]，Hadoop、ZooKeeper和HBase的启动和关闭顺序非常重要。启动时Hadoop和ZooKeeper顺序随意，但HBase必须最后启动；关闭时则HBase必须先关闭，然后是其他组件。如果顺序不对，可能导致异常。所以，如果用户只是重启Ubuntu，系统服务可能会按照默认顺序启动，但需要检查是否正确配置了启动顺序，否则可能引发问题。 接下来，引用[2]提到，当遇到ZooKeeper相关的问题时，可能需要关闭HBase和ZooKeeper，删除ZooKeeper的数据目录中的文件（保留myid），然后重新启动。这说明有时候清理ZooKeeper的数据可能比单纯重启更有效。用户的问题是关于日志的，可能涉及到ZooKeeper存储的元数据问题，单纯重启Ubuntu可能不会清理这些数据，导致问题依旧存在。 引用[3]中的错误“KeeperErrorCode = NoNode for /hbase/master”说明HBase无法找到ZooKeeper中的某个节点，这可能与ZooKeeper的数据不一致有关。这种情况下，可能需要按照引用[2]的方法手动清理ZooKeeper数据并重启服务，而不仅仅是重启整个Ubuntu系统。 关于日志问题，HBase和ZooKeeper的日志通常存储在各自的日志目录中，重启Ubuntu可能会清空临时日志，但持久化的日志文件可能仍然存在。如果日志问题是由于临时性错误或内存泄漏导致的，重启可能会暂时解决问题，但如果是配置错误或数据损坏，则需要更具体的处理。 另外，引用[5]提到在Ubuntu上配置网络和端口访问的问题，如果日志问题与网络配置有关，重启系统可能不会自动修复配置错误，需要手动检查配置文件如hosts和端口设置。 总结一下，用户的问题需要分情况讨论：如果日志问题是临时性的，重启可能有效；但若是数据不一致或配置错误，则需要按照正确顺序重启服务，清理ZooKeeper数据，或检查配置文件。建议用户先尝试按正确顺序重启HBase和ZooKeeper，并清理必要的数据，而不是直接重启整个Ubuntu系统。</think>### 关于通过重启Ubuntu解决HBase和ZooKeeper日志问题的分析 #### 1. **重启Ubuntu是否能解决日志问题？** - **临时性问题**：若日志问题由瞬时错误（如内存溢出、临时进程阻塞）引起，重启可能暂时缓解，但需结合服务重启顺序操作[^4]。 - **持久性问题**：若问题由配置错误、数据损坏或节点元数据不一致导致，单纯重启系统无法解决，需针对性清理ZooKeeper数据或修复配置[^2][^3]。 #### 2. **推荐操作步骤** - **步骤1：按顺序关闭服务** ```bash # 先关闭HBase $HBASE_HOME/bin/stop-hbase.sh # 再关闭ZooKeeper（假设使用独立ZooKeeper） $ZOOKEEPER_HOME/bin/zkServer.sh stop # 最后关闭Hadoop（可选，根据日志问题范围） $HADOOP_HOME/sbin/stop-all.sh ``` 注意：关闭顺序错误可能导致元数据残留。 - **步骤2：清理ZooKeeper数据** 删除ZooKeeper数据目录中与HBase相关的节点（保留`myid`文件）： ```bash # 示例路径（具体路径需根据配置） rm -rf /path/to/zookeeper/data/version-2/* ``` 此操作可解决因元数据不一致导致的`NoNode`错误。 - **步骤3：重启服务** 按正确顺序启动服务： ```bash # 启动Hadoop（可选） $HADOOP_HOME/sbin/start-all.sh # 启动ZooKeeper $ZOOKEEPER_HOME/bin/zkServer.sh start # 最后启动HBase $HBASE_HOME/bin/start-hbase.sh ``` #### 3. **日志问题定位建议** - **检查HBase日志**：查看`$HBASE_HOME/logs/hbase-*.log`，定位错误类型（如网络超时、节点丢失）。 - **检查ZooKeeper日志**：查看`$ZOOKEEPER_HOME/zookeeper.out`，确认是否因会话过期或数据损坏引发问题。 - **网络配置验证**：通过`netstat -tlpn`确认端口绑定地址是否为`0.0.0.0`（允许外部访问），而非`127.0.0.1`[^5]。 #### 4. **典型场景示例** - **场景1**：日志中频繁出现`Connection refused`。 - **可能原因**：ZooKeeper未启动或端口未开放。 - **解决**：检查ZooKeeper状态，并验证防火墙规则。 - **场景2**：日志提示`NoNode for /hbase/master`。 - **可能原因**：ZooKeeper中HBase元数据丢失。 - **解决**：清理ZooKeeper数据后按顺序重启服务。 ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值