硬件故障导致Hbase RegionServer CPU飚高

最新推荐文章于 2024-01-29 17:00:00 发布
最新推荐文章于 2024-01-29 17:00:00 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hbase 文章标签： 大数据 jira
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iteye_4064/article/details/82674725
国庆后修复内存故障的Hbase RegionServer a02重新加入集群，导致另一台a04 CPU使用率飙升。初步排查未发现软件异常，后经硬件检查发现a04内存存在问题，更换内存后问题解决。分析GC日志提示可能在8月初有重大事件影响，调优GC参数和启用MemStoreChunkPool以优化性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

场景介绍       

      国庆期间Hbase集群有一台RegionServer a02机器的内存故障原因导致下线，集群在少一台的情况下运行正常，节后a02机器内存故障修复后重新加入集群提供服务，几乎同时发现集群另外一台a04的CPU使用率高居不下, 按照常理分析集群恢复至最初状态，应该会运行良好,实际上却是a04的CPU使用率一路飚高。

 

问题初步排查

  • Region数据排查，集群Region数量均衡，并无发现异常
  • GC日志分析,发现Parnew频率有增加，1天20-30次，与其他机器比偏高
  • RegionServer日志排查，也没有发现异常输出
  • 配合网卡、磁盘IO等也没有发现什么端倪，RPC处理队列变大

 

最低0.47元/天 解锁文章
揭秘大数据领域HBase的RegionServer负载均衡算法
AI天才研究院
05-09 1099
在大数据时代，HBase作为一种分布式、面向列的开源数据库，被广泛应用于处理海量数据。RegionServer是HBase中的关键组件，负责存储和管理Region。然而，由于数据访问的不均衡性等因素，可能会导致不同RegionServer之间的负载差异较大，从而影响整个系统的性能和可用性。因此，RegionServer的负载均衡至关重要。本文的目的就是深入剖析HBase的RegionServer负载均衡算法，揭示其工作原理和实现细节，帮助读者理解如何在实际应用中优化HBase系统的负载均衡。
HBase高并发机制
最新发布
Programming Talk
04-07 869
HBase作为一种高性能的分布式存储系统，在高并发场景下具有广泛的应用前景。通过对其高并发机制、性能瓶颈以及优化策略的分析，我们可以更好地理解和使用HBase，提高系统的并发性能和稳定性。未来，随着大数据技术的不断发展，HBase还将面临更多的挑战和机遇，我们需要持续关注其最新进展，不断优化和完善我们的应用方案。
hbase占用内存过高_HBase——系统调优
weixin_39846089的博客
12-20 690
JVM层HMaster 没有处理过重的负载，并且实际的数据服务不经过 HMaster，它的主要任务有2个：一、管理Hbase Table的 DDL操作， 二、region的分配工作，任务不是很艰巨。但是如果采用默认自动split region的方式，HMaster会稍微忙一些，负载不大，可适度对此进程做适量放大heap 的操作，但不可太大。RegionServer在写入数据时，数据会先保存在mem...
服务器CPU居高不下--解决问题历程
weixin_34416649的博客
09-29 399
基本的概述 在一个服务器的集群上面，服务器的CPU长时间居高不下，响应的时间也一直很慢，即使扩容了服务器CPU的下降效果也不是很明显。 对于CPU过高的原因，可以总结到以下原因： 太多的循环或者死循环 加载了过多的数据，导致产生了很多的大对象 产生了过多的对象，GC回收过于频繁（如：字符串拼接） 对于上面的情况，难点不是优化代码，难点在于定位到问题的所在...
arthas 分析线程高cpu_用 Arthas 神器来诊断 HBase 异常进程
weixin_35078004的博客
02-03 1882
1. 异常突起HBase 集群的某一个 RegionServer 的 CPU 使用率突然飙升到百分之百，单独重启该 RegionServer 之后，CPU 的负载依旧会逐渐攀上顶峰。多次重启集群之后，CPU 满载的现象依然会复现，且会持续居高不下，慢慢地该 RegionServer 就会宕掉，慢慢地 HBase 集群就完犊子了。2. 异常之上的现象CDH 监控页面来看，除 CPU 之外的几乎所有核...
解析线上HBase集群CPU飙高的原因与解决方案
涤生大数据
01-29 2303
jstack是Java开发工具包（JDK）中提供的一个命令行工具，用于生成Java虚拟机（JVM）中所有线程的堆栈跟踪信息。使用jstack命令可以获取以下信息：所有线程的堆栈跟踪：jstack命令会输出JVM中所有线程的堆栈跟踪信息，包括线程ID、状态、执行方法和行号等。这些信息可以用于分析线程的执行路径和可能的问题。死锁检测：jstack命令可以检测并输出JVM中的死锁情况。它会显示死锁的线程以及导致死锁的资源。
java cpu利用率上不去_复盘：HRegionServer节点CPU持续飙高异常排查
weixin_39734020的博客
12-09 655
点击关注上方“知了小巷”，设为“置顶或星标”，第一时间送达干货。复盘：HRegionServer节点CPU持续飙高异常排查钉钉告警信息告警截图翻看CPU监控信息CPU从凌晨1点08分突然直线拉升，并持续维持在高位查找消耗CPU较高的进程HRegionServer进程号：9096$jps9069HRegionServertop命令查看CPU情况9069进程CPU已飙到753.1%，实际...
【HBase RegionServer详解】：负载均衡与故障转移的内部机制
[【HBase RegionServer详解】：负载均衡与故障转移的内部机制](https://www.adaltas.com/static/2161c4835212fb42720cad7dfcc9597c/f3583/2022-01-15-hbase_multi_regionservers.png) # 1. HBase RegionServer概述 ...
HBase RegionServer管理艺术：专家分享扩展与维护集群的黄金策略
HBase RegionServer是HBase中负责处理数据存储与访问的核心组件。它直接与数据块（Region）交互，执行数据的读写、分裂和合并等操作。为了理解其重要性，本章我们将探讨RegionServer的基本概念、架构设计以及其在...
HBase RegionServer性能监控：专家级优化，性能提升不止一倍
![HBase RegionServer性能监控：专家级优化，性能提升不止一倍]...其中，RegionServer作为HBase的核心组成部分，负责数据的读写和存储管理。对RegionServer进行性能监控和优化是确保HBase集群稳定运行的关键。本
Hbase RegionServer简单调优(GC)
高矮
10-17 2891
Full GC会导致hbase假死，hbase读写数据延迟，严重导致hbase与zookeeper失联，导致hbase regionserver挂掉 解决： （1） 合理分配RegionServer的jvm内存，如果集群资源允许，可适当调大，这是最直接的 （2）适当调整RegionServer处理请求的并发线程数，根据实际情况通过降低线程并发，来降低GC的压力     （3）打散reg...
大数据私房菜面试题
weixin_41948645的博客
10-24 3340
一.Hadoop 1.hdfs写流程 2.hdfs读流程 3.hdfs的体系结构 4.一个datanode 宕机,怎么一个流程恢复 5.hadoop 的 namenode 宕机,怎么解决 6.namenode对元数据的管理 7.元数据的checkpoint 8.yarn资源调度流程 9.hadoop中combiner和partition的作用 10.用mapreduce怎么处理数据倾斜问题？ 11.shuffle 阶段,你怎么理解的 12.Mapreduce 的 map 数量 和 .
hbase 可视化工具_hbase优化之旅（二）regionserver的G1 GC优化探索
weixin_39616565的博客
11-29 382
优化的最终目的是保障用户体验的同时，减少机器，节约成本。为了更好的编写本文，花费20美金。欢迎赞赏支持。g1介绍g1特点g1原理见附录官方文档，本文假设读者对jvm gc和g1原理有基本的了解。g1特点是内存分片（一般1024片），支持动态调整young区大小，old区使用mixed gc方式分成多次小gc，尽量减少单次gc STW(stop the world)暂停时间，让gc对应用延迟的影响在...
HBase 常见问题总结（一）
Shockang的博客
11-13 1583
问题一：业务表出现大量空Region 问题二：业务 HBase 客户端 RPC 连接异常关闭 问题三：单台 RegionServer 的 I/O 使用率一直为100%，HBase 集群请求量为0
GeoServer生产环境调优(部分)
Baple的专栏
01-24 1万+
主要内容来自：地理学博士王晨亮整理 JVM调优 由于Geoserver是JavaEE项目，其性能直接受JVM参数影响，因此首先就需要对其进行JVM级别的优化。Geoserver部署在哪里，就设置哪里的JVM参数。 Java堆内存 Java堆内存是最基本的Java开发优化参数，无须解释。设置内存的数值需要恰当，既不能浪费剩余内存又不能抢占其他资源所必须的内存。
Sqoop导表在大并发下造成RegionServer的系统cpu过高
技术博客
04-09 2372
对于初始时只有一个Region并配置过多的map时，可能会造成某一RegionServer的系统cpu过高，主要原因是多个map任务会通过RPC同时向一个RegionServer写入数据，当RegionServer的RPC Handler线程过少时，其它map端就会等待，此时RegionServer会堆积大量的网络请求二无法及时响应，从而造成系统cpu过高，解决方案: 方案一: 增大R
hbase的RegionServer内存占满导致频繁重启
lieying411
07-20 1632
hbase的RegionServer内存配置为16G，每次在运行统计任务的时候总会导致RegionServer自动重启。查看web界面发现，运行过程中RegionServer的内存使用率已经达到95%以上，从而导致regionServer长时间垃圾回收且回收不掉。通过spark的history查看任务失败阶段从而定位问题代码。 在代码中有个foreachPartition操作用来查找hbase表中该记录是否已存在。读取该分区下所有的主键，然后一次性查询hbase，导致RegionS...
HBase RegionServer挂掉问题分析
热门推荐
暗焰之珩的博客
08-16 2万+
HBase在使用中会遇到非常多的问题，最为常见的就是HBase regionserver挂掉（此文中简称regionserver为RS）， 而RS挂掉的原因各不相同。在本文中对遇到过的HBase RS挂掉的情况做一个简单的整理。 HBase集群预留内存不足 现象：HBase RS在起来1-2min后马上挂掉 日志为如下日志段的重复： Mon Aug 6 10:23:54 CST 20...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值