hbase_使用中遇到的问题(NotServingRegionException)

本文介绍了在使用HBase时遇到的NotServingRegionException问题,详细分析了该异常的两个可能原因:region分裂和数据损坏。通过执行`hadoop fsck`检查数据健康状况,发现数据损坏并成功使用`hadoop fsck -delete`命令删除损坏块,最终重启HBase服务解决了问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

NotServingRegionException错误

系统运行一段时间后:

刚开始重复报:

table=harve_visited_user, attempt=35/35 failed=1ops, last exception: org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionException: Region harve_visited_user,7fceca2e-f5a1-4392-8f79-7ef3162f3421,1487091257232.fd14bb2aa7e374ff1338594a118652b0. is not online on z1,60040,1488419186595

后来报:

5095: Exception occured when updating object data.: Failed 1 action:

NotServingRegionException: 1 time, ;

 NotServingRegionException异常主要有两种原因:

1.region正在分裂时对数据的操作会抛此异常

2.region数据损坏时

如果使用shell命令操作hbase,获取harve_visited_user表记录数:

 

运行到267000行后报错:

ERROR: org.apache.hadoop.hbase.NotServingRegionException: Region harve_visited_user,

7fceca2e-f5a1-4392-8f79-7ef3162f3421,1487091257232.fd14bb2aa7e374ff1338594a118652b0. is not online on z1,60040,1488419186595

可以看见是rowkey7fceca2e-f5a1-4392-8f79-7ef3162f3421的记录出了问题,很可能是今天公司运维在部线,导致机房突然断电,很可能此时正在操作7fceca2e-f5a1-4392-8f79-7ef3162f3421,导致记录不完整。

这里应该是原因2:
数据损坏导致当前数据存放的regin无法使用,使用hadoop fsck检查是否有损坏块

使用hadoop fsck / 或者hadoop fsck /hbase/data检查数据健康状况:

可以看到,确实是harve_visited_user表丢了一块数据。

没有冗余备份,只能删除损坏的文件,使用命令: hadoop fsck -delete

刚开始玩hbase时胆子小,不敢使用上面的命令,加了一些路径,

执行完后再检查:

发现提示HEALTHY,健康。

重启hbase问题解决。

注:重启后如果还有问题,再检查看,同时参见PleaseHoldException异常的处理方案。

### HBASE_HEAPSIZE 参数的含义与作用 HBASE_HEAPSIZE 是 HBase 配置中的一个重要参数,用于定义 HBase RegionServer 和 HBase Master 进程可用的最大堆内存大小。该参数直接影响 HBase 的性能和稳定性,尤其是在处理大规模数据时。 #### 含义 HBASE_HEAPSIZE 指定了 HBase 进程(包括 Master 和 RegionServer)可以使用的最大 Java 堆内存大小。这个值通常以 MB 为单位设置,例如 `1024` 表示 1GB 的堆内存[^4]。 #### 作用 1. **内存管理**:HBase 使用堆内存来缓存数据(如 MemStore 和 BlockCache)。通过调整 HBASE_HEAPSIZE,可以优化缓存的大小,从而提高读写性能。 2. **避免 OOM(Out of Memory)**:如果堆内存不足,可能会导致 Out of Memory 错误。合理配置 HBASE_HEAPSIZE 可以减少此类问题的发生。 3. **性能调优**:较大的堆内存可以容纳更多的缓存数据,减少对磁盘的访问次数,但同时也会增加垃圾回收(GC)的压力。因此,需要根据实际工作负载进行权衡。 #### 配置方法 HBASE_HEAPSIZE 的配置可以通过以下方式完成: 1. **环境变量设置**:在 HBase 的启动脚本中(如 `hbase-env.sh`),通过设置 `HBASE_HEAPSIZE` 环境变量来指定堆内存大小。例如: ```bash export HBASE_HEAPSIZE=8192 ``` 上述配置将堆内存设置为 8GB。 2. **YARN 集成场景**:如果 HBase 运行在 YARN 上,则可以通过 YARN 的资源管理器配置相应的内存限制。 #### 注意事项 - 堆内存大小应根据服务器的物理内存和系统负载进行调整。通常建议将堆内存设置为物理内存的 50%-60%,以确保操作系统和其他进程有足够的内存[^5]。 - 如果堆内存过大,可能会导致长时间的垃圾回收停顿(Full GC),影响服务的响应时间。 - 在高写入负载场景下,可以适当增大 HBASE_HEAPSIZE,以便更好地支持 MemStore 缓存[^6]。 ```bash # 示例配置 export HBASE_HEAPSIZE=16384 # 设置为 16GB ``` ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值