hbase oldWALs 目录一直增长问题

检查

  • 查看日志,看看有没有
is out of range

如果是这样,恭喜你中奖了,可以参考 http://www.hot123.org/index/content/51254.html 这篇文章,修改哥zookeeper参数,也许有效。

  • 检查zookeeper某个节点下是否有值
# 如果安装的是CDH5.5.0-0.8
/opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.8/lib/zookeeper/bin

# 检查下面的zk节点是否有信息
./zkCli.sh
[zk: localhost:2181(CONNECTED) 1] ls /ngdata/sep/hbase-slave/Indexer_logRecordIndexer/rs
[solr1,38062,1487043321416, solr2,39802,1487043320136]

如果没有,说明是solr在和hbase结合的地方有问题,比如我们遇到的,没有上传一个配置文件。

一天后,我们发现原来是由于内存不足,造成有些hbase定时任务,比如清理任务无法正常运行。调整内存(Java Heap Size of HBase Master in Bytes =1024MB, Java Heap Size of HBase RegionServer in Bytes=2492MB) ,重启hbase,看到磁盘占用一点一点的在下将。
好吧,忙活了几天终于没有白忙活。

另外,CDH单机版本最好是4C16G,2C8G还是会有些问题的哦。

END

HBase 中,`/hbase/oldWALs` 目录是一个特殊的目录,主要用于存放已经不再需要但在某些情况下仍需保留一段时间的旧 Write-Ahead Logs (WAL) 文件。以下是关于 `/hbase/oldWALs` 的详细介绍: ### 功能与作用 1. **临时存储**:当 HBase 完成对 WAL 日志文件中所包含的数据的操作(例如数据已成功写入 HDFS 或者经过了 Compaction 操作),并且确认这些日志不再被 RegionServers 所引用时,这些 WAL 文件通常会被移动到 `/hbase/oldWALs` 目录下。 2. **备份与恢复**:虽然大多数时候这些 WAL 已经完成了它们的任务,但在极少数情况下,如果有新的 Region Server 加入集群或是发生其他异常情况导致部分数据未能及时同步,则可以从 `oldWALs` 中找回并重新处理未完成的日志项。 3. **清理机制**:为了避免过多的历史 WAL 占用磁盘空间,在满足一定条件后(比如超过指定的时间窗口或达到最大数目限制等),HMaster 会启动一个后台线程自动删除位于此目录下的无用 WAL 文件。 4. **安全性保障**:通过设置合理的留存时间及规则管理该路径的内容,能够有效防止因误删而引发的数据丢失风险。 ### 使用建议 - 如果您发现 `oldWALs` 下面积累了大量文件,请考虑是否有必要增加清理频率或缩短生命周期期限; - 对于大规模生产环境来说,应该密切关注其增长趋势并与监控系统集成以便实时响应潜在问题。 总结而言,`/hbase/oldWALs` 提供了一个安全可靠的途径用于暂时保管那些曾经重要但现在处于“待定”状态的日志信息,这对于提高整个数据库系统的稳定性有着积极意义。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值